kaka-no2

> 请问训练后直接使用huggingface的generate接口生成的回答也是不正常的吗 huggingface的generate接口会直接报错，我的transformer版本是4.51.0，我用llamafactory-cli chat 推理也有这个错误： `Traceback (most recent call last):   File "/root/miniconda3/lib/python3.12/site-packages/transformers/modeling_utils.py", line 4028, in from_pretrained     rank = int(os.environ["RANK"])                ~~~~~~~~~~^^^^^^^^   File "", line 714, in **getitem** KeyError: 'RANK' The above...

你好，我的问题解决了。 1.训练后直接使用huggingface的generate接口生成的回答不正常原因，应该是下载的llama-factory版本和910B某些配置的版本不匹配，我重新用docker下载了一下就不报错了； 2.复读的原因，我在调用部署好的模型的时候，在参数里加入了frequency_penalty和presence_penalty，这两个参数我原以为是抑制复读的，结果是去掉之后反而不复读了。

> 请问您使用docker镜像，是自行构建的还是使用的quay.io/ascend/llamafactory:0.9.4-npu-a2这个镜像啊 是quay.io/ascend/llamafactory:0.9.4-npu-a2

遇到了相同的问题，merge_lora之后用MindIE框架推理，出现复读机现象，什么原因呢？