t5-pegasus-chinese icon indicating copy to clipboard operation
t5-pegasus-chinese copied to clipboard

Published 20 hours ago • verified publisher icon SunnyGJing

长文本摘要和推理速度

Open ZTurboX opened this issue 2 years ago • 3 comments

对于长文章的文本摘要是否支持？ 以及此方法的推理速度怎么样？

ZTurboX avatar Oct 18 '21 05:10 ZTurboX

zhentao,你好

  1. 目前项目上处于模型迭代优化阶段，计划支持长文本输入(暂不支持)，到时会同步更新在本Git里
  2. 此方法支持组batch推理，自测batch_size=600，从416ms/条提速至19.2ms/每条；此外，支持Linux上多进程推理，解决CPU推理速度问题，多进程推理的代码在单独的branch里，明天我再更新下代码

SunnyGJing avatar Oct 22 '21 15:10 SunnyGJing

  1. 到时会同步更新在本Git里

您好！我想问下，您打算怎么处理长文本呀？谢谢！

BCWang93 avatar Nov 26 '21 03:11 BCWang93

  1. 到时会同步更新在本Git里

您好！我想问下，您打算怎么处理长文本呀？谢谢！

您好，推荐用Roformer处理长文本

SunnyGJing avatar Nov 29 '21 07:11 SunnyGJing