GPT2-Chinese

GPT2-Chinese copied to clipboard

generate.py中batch_size循环生成的out都是同一个值，应该是让返回的outs包含batch_size条生成的结果，请问如何更改？

viego1999

作者您好，请问如何才能加微信群或者qq群呢？

ipeaking

通用中文小模型 百度网盘路径下文件夹中没有内容

3

chenxiaoyouyou

继续训练

1

怎么能接着上次的训练结果继续训练啊，在colab上没法一次训练太长时间

CL-666666

生成内容是会生成一样的内容四次。。为什么啊

4

!python ./generate.py --length=550 --nsamples=5 --prefix=罗格看着风月 --fast_pattern --save_samples --save_samples_path=/jieguo/test --batch_size 4 ======================================== SAMPLE 1 ======================================== 重复内容 ======================================== SAMPLE 2 ======================================== 重复内容 ======================================== SAMPLE 3======================================== 重复内容 ======================================== SAMPLE 4 ======================================== 重复内容

xuxiaoyaoo

能问一下你用的环境的tensorflow版本吗？

2

tensorflow在你更新版本后貌似改了些接口，我老是遇到版本出现的问题

miko8422

 为了使得输入的长度能够达到1024，使用huggingface中的GPT2-large模型的时候，发生了如上的报错，请问这个应该咋办呢

Yzuy

你好，我用这个模型训练完之后的生成的新闻容易发生主语错乱，人名错乱，是因为语料不足还是说是正常现象，例如将国家搞错，或者人物职位等搞错？

viego1999

微信交流群

21

各位好。因为存在很高呼声，微信交流群已经建立，欢迎加入。 微信群已满，请加QQ交流群912434813

Morizeyao

使用UER-py框架训练得到古诗词如同乱码该怎么办

1

您好，我使用UER的GPT-2预训练方法训练了一个古诗的模型，然后做预测的时候发现生成的就好像是随机的文本，有时甚至还有很多[UNK]，想请教下这是为什么？  我的输入是“床前明月光，” ------------------------------------------------------------------------------------------------------------------ 我的数据是nlp_chinese_corpus这个仓库中的中国诗词，我按照book_review.txt的形式，一行放了一首诗，然后按照您给的GPT-2预训练示例的输入指令进行预处理与预训练，我的数据文本大概是这样子的  预训练的指令如下： CUDA_VISIBLE_DEVICES=1 python3 pretrain.py --dataset_path datasets/poems.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/poems_model.bin --config_path models/gpt2/config.json --learning_rate 1e-4 --world_size 1 --gpu_ranks 0 --tie_weight --embedding word_pos --remove_embedding_layernorm --encoder transformer...

Imposingapple