Guo Sheng

目前还没有在最新的2.3.5版本的包里，可以先行通过git clone PaddleNLP的repo并将PYTHONPATH指向下载下了的PaddleNLP目录来使用

抱歉，这里有些不太完善。您那边是直接使用的下载缓存的目录是吗，可以先`save_pretrained`保存一次然后使用保存的目录来加载，save过程中有些转换适配的处理，之前是考虑`from_pretrained`加载本地目录的话需要是保存适配过的，我们也看看完善下

> > 可以把单测和部分P0功能（`output_attentions`、`output_hidden_states`、`labels`、`return_dict`）给加上，具体可参考：[bert.modeling](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/bert/modeling.py) > > 等BertConfig样板间合入之后也可以把`PegasusConfig`给加上。 > > 已加入TODO 这个还注意check评估下以后增加的话会否有兼容性问题

可否提供下使用的代码链接或者复现的代码呢

> 遇到类似问题（直接import paddlenlp报错），能否帮忙看下 麻烦提供下使用的paddlenlp的版本看下呢

那个results里存的应该是置信度，可以用`results [labels]`或者 `results.max(axis=-1)`取出来看下呢

> I'll be happy to take this. Would you assign this to me? I will break past_key_values and inputs_embeds into two separate PRs for easy reviews. Good start and no...

请问是使用的哪个代码，使用的paddlenlp的版本是什么呢，我们复现排查看下。 > 本地开发的环境，之前一直运行没问题； 今天再跑模型，就出现以下bug，很奇怪，我也没有重新安装新的版本 如果使用代码没变，paddlenlp版本也没变，突然跑不通是有些奇怪的

可否也提供下出问题的代码呢，我们复现下

如果是说觉得自回归速度慢希望更快的生成的话，PaddleNLP针对GPU环境是有预测加速支持的可以试下