t5_finetuning 推理测试的代码

推理测试的代码

Open BestSongEver opened this issue 2 years ago • 2 comments

大佬您好，请问您可以更新一下对fine-tune后模型的推理测试的代码吗？另外，训练是否有一些策略呢，比如提升speed 谢谢！多么令人敬爱的大佬！@ssbuild

Mar 17 '23 06:03 BestSongEver

@BestSongEver

已添加推理demo ，策略的多卡数据并行足够了，短平快。

Mar 19 '23 10:03 ssbuild

谢谢您的回复！关于infer等，有个问题想听您的观点: 为啥大家都在关注chatglm的微调、推理。关注这个项目的缺很少？对于某特定领域数据的微调和落地应用，这个小模型不够用吗？并且它小，不是更方便产品化应用？@ssbuild

Mar 23 '23 04:03 BestSongEver