用预加载模型，生成文本的时间比较长，有什么优化之道呢？

[liruixue]

用当前项目提供的预加载模型，使用的是CPU机器，生成文本的时间比较长： 比如请求参数：title=晚霞 max_len=100，生成文本用了20s+ 这个时间感觉太长，大伙用模型跑起来后，生成时间大概多长，是否有什么优化之道呢？

[syspider]

生成的时候可以使用past_key_values机制加速。博主生成的时候每一次输入都是整个序列，改进后能快不少