管静

@austinyoung1 Hi, austinyoung1. Have you solved it? I ran into the same problem as you.

用的是精处理后的Pegasus伪摘要式语料，近30G，暂未开源~

您好~ 是的，参照data路径下的数据格式，把相同格式的文本摘要数据集放在data路径下。 并修改run_with_train.py中的参数"--train_data"和"--dev_data"为您的训练集文件和验证集文件即可。

您好~ 我们常用的学习率是5e-5，用于BERT。但由于架构差异，T5的学习率要大10倍才行，所以用了2e-4。

zhentao,你好 1. 目前项目上处于模型迭代优化阶段，计划支持长文本输入(暂不支持)，到时会同步更新在本Git里 2. 此方法支持组batch推理，自测batch_size=600，从416ms/条提速至19.2ms/每条；此外，支持Linux上多进程推理，解决CPU推理速度问题，多进程推理的代码在单独的branch里，明天我再更新下代码

> > 1. 到时会同步更新在本Git里 > > 您好！我想问下，您打算怎么处理长文本呀？谢谢！ 您好，推荐用Roformer处理长文本

你好，建议在我分享的预训练模型基础上做先验知识的微调(可以看作二次预训练)，再在此基础上做摘要生成的微调。 806416908 ***@***.*** ---- 回复的原邮件 ***@***.***>发送日期2023年05月11日 09:09 ***@***.***> ***@***.***>主题[SunnyGJing/t5-pegasus-chinese] 文本摘要 (Issue #25) 你好，我想请问一下，微调时我的数据实验结果不太理想，如果我想给模型喂一些先验知识，让他能够学习到这些，用先验知识辅助完成摘要的话，是需要在预训练原模型上进行更改重新训练，还是在微调层面对输入结构进行更改就可以呢？ —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are...

你好，args.max_len_generate参数用于设置最大生成长度。可以在run_with_train.py和run_with_predict.py的init_args()函数里面设置。祝好 806416908 ***@***.*** ---- 回复的原邮件 ***@***.***>发送日期2023年03月20日 16:33 ***@***.***> ***@***.***>主题[SunnyGJing/t5-pegasus-chinese] 请问如何对摘要生成的字数限制？ (Issue #23) 请问如何对摘要生成的字数限制？ —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are...