Chinese-Transformer-XL

Chinese-Transformer-XL copied to clipboard

微调报错 AttributeError: 'DeepSpeedZeroOptimizer' object has no attribute '_restore_from_fp16_weights'

1

AttributeError: 'DeepSpeedZeroOptimizer' object has no attribute '_restore_from_fp16_weights' 这是怎么回事呀？？

binggoml

微调loss特别大

1

我采用你们的模型进行微调，微调的数据是小说数据，尝试了两种输入结构，训练loss都是从8.8开始下降，valid ppl非常大。第一种是每行的结构为：{"prompt": 随机截取的小说文本，长度为256, "text": 一本小说删除换行符后拼接，长度约为10w字}，第二种是每行结构为：{"prompt": text的前文，长度为256, "text": 把一本小说按512长度分段}。请问那种输入结构是正确的呢？我从代码来看你们用的应该是第一种，但是为什么loss还是这么大呢？

zixiliuUSC

模型并行时加载checkpoint导致word embedding size不匹配

1

作者你好， 我在尝试使用change_mp.py将checkpoint拆分之后使用模型并行，但是在加载模型时提示word embedding大小不匹配。读过代码之后发现代码会在加载模型时将词表大小pad到某个数的整数倍（以提高计算效率），这个数是`args.make_vocab_size_divisible_by * mpu.get_model_parallel_world_size()`，因此MP改变时词表大小也会改变，导致无法正常加载模型参数。 https://github.com/THUDM/Chinese-Transformer-XL/blob/0e702e4c9041a21d0d03b0372b26064467e021b0/pretrain_gpt2.py#L669-L677 一个temporary fix是将这里671行的`multiple`变量固定成`args.make_vocab_size_divisible_by`。

Billijk

请问何时能在商品数据集合训练一个呢

1

- 电商，文化娱乐等领域，请问何时能开放一个呢？ - 准备在商品名称匹配搜索推荐上用一下，不知百度百科等数据能否适用

sizhongyibanhts

uuser0748

找不到latest_checkpointed_iteration.txt文件

1

运行demo的时候` bash scripts/generate_text.sh data/workspace/models/Chinese-Transformer-XL/txl-2.9B/`，提示`WARNING: could not find the metadata file data/workspace/models/Chinese-Transformer-XL/txl-2.9B/latest_checkpointed_iteration.txt, will not load any checkpoints and will start from random `。 找不到在那里可以下载！ 

chenchun0629

我想使用transformers的库来加载这个模型，方便加入adapter之类的模块。

haoranhuang-mt

# Patching CVE-2007-4559 Hi, we are security researchers from the Advanced Research Center at [Trellix](https://www.trellix.com). We have began a campaign to patch a widespread bug named CVE-2007-4559. CVE-2007-4559 is a...

TrellixVulnTeam