支持incremental decoding吗？

[songmzhang]

如题

[silverriver]

您可以用transofmers这个库的组件加载模型，可以直接调用generate这个方法做生成。

[ATANG09]

这个transofmers的版本好像没generate函数

[silverriver]

训练好的模型ckpt应该是可以用比较新的transformers库加载的。具体的版本我忘了，您可以试一下。