Imposingapple

Why my LPIPS distance is larger than what your paper say?

3

Thank you for the amazing job! I've run the experiment of LPIPS distance metric and found that my LPIPS distance is larger than the one in your paper. Specific speaking:...

分布式训练时出现的错误 RuntimeError: connect() timed out.

3

作者您好， 我看了您的说明《更多预训练模型》，然后想用您已经给的‘book_review.txt‘数据跑一个非常小的GPT-2的微调 我依次运行代码（有4块机子，故world_size我设为4，用两块空余的GPU跑） python3 preprocess.py --corpus_path corpora/book_review.txt --vocab_path models/google_zh_vocab.txt \ --dataset_path dataset.pt --processes_num 8 --target lm python3 pretrain.py --dataset_path dataset.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/output_model.bin \ --config_path models/bert_base_config.json --learning_rate 1e-4 \...

使用UER-py框架训练得到古诗词如同乱码该怎么办

1

您好，我使用UER的GPT-2预训练方法训练了一个古诗的模型，然后做预测的时候发现生成的就好像是随机的文本，有时甚至还有很多[UNK]，想请教下这是为什么？  我的输入是“床前明月光，” ------------------------------------------------------------------------------------------------------------------ 我的数据是nlp_chinese_corpus这个仓库中的中国诗词，我按照book_review.txt的形式，一行放了一首诗，然后按照您给的GPT-2预训练示例的输入指令进行预处理与预训练，我的数据文本大概是这样子的  预训练的指令如下： CUDA_VISIBLE_DEVICES=1 python3 pretrain.py --dataset_path datasets/poems.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/poems_model.bin --config_path models/gpt2/config.json --learning_rate 1e-4 --world_size 1 --gpu_ranks 0 --tie_weight --embedding word_pos --remove_embedding_layernorm --encoder transformer...

Can not get your result

9

After doing the data preprocessing, training and evaluation for humorous headline generation provided by this repo, i get the following result. The BLEU score is 9.0, much lower than you...