推理结果较长数据后，后面全是重复内容无法停止

[jianking123]

模型版本为Qwen2.5-0.5B-instruct-MNN

[jianking123]

请问是问题吗

[huangzhengxiang]

0.5B model is too small

[jianking123]

0.5B model is too small

我又尝试了Qwen2.5-1.5B-instruct-MNN模型，也有同样的问题 两个模型的效果是可以接受的因为加载和推理速度都可以，请问这个问题可以解决吗

[v0jiuqi]

0.5B model is too small

我又尝试了Qwen2.5-1.5B-instruct-MNN模型，也有同样的问题 两个模型的效果是可以接受的因为加载和推理速度都可以，请问这个问题可以解决吗

可以解决，等我们发布最新版本

[RealTimeAndMoney]

0.5B model is too small

我又尝试了Qwen2.5-1.5B-instruct-MNN模型，也有同样的问题 两个模型的效果是可以接受的因为加载和推理速度都可以，请问这个问题可以解决吗

可以解决，等我们发布最新版本

when will this version lunched ? or could you tell me how to avoid this problem

[v0jiuqi]

0.5B model is too small

我又尝试了Qwen2.5-1.5B-instruct-MNN模型，也有同样的问题 两个模型的效果是可以接受的因为加载和推理速度都可以，请问这个问题可以解决吗

可以解决，等我们发布最新版本

when will this version lunched ? or could you tell me how to avoid this problem

Today we will release a new version.

[jxt1234]

默认的采样方式没有规避重复的处理，可以在 config.json 里面加一句 "sampler_type": "penalty"

https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html

[rhythmcity]

请问已经发布新版本了吗？ 我看modelscope 和huggingface上 还是 24 年 12 月 31 更新的

[jxt1234]

这个和模型无关，更新 mnn 代码即可

[jianking123]

这个和模型无关，更新 mnn 代码即可

请问都更新哪里的代码，没有看到此问题的pull和新的releases

[rhythmcity]

这个和模型无关，更新 mnn 代码即可

我是用 iOS 的 app， 请问这个是更新哪部分的代码， 我当前使用的是 3 月 21 日的 master 分支，这个后面是有针对这个问题修复吗？

[jianking123]

请问这个更新是否需要更换so文件，如果需要去哪里下载

[jianking123]

这个和模型无关，更新 mnn 代码即可

请问更新那部分

[jianking123]

默认的采样方式没有规避重复的处理，可以在 config.json 里面加一句 "sampler_type": "penalty"

https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html

您好，我已经设置了sampler_type，也使用了目前最新的代码编译，还是出现重复无法停止的问题，请问是目前还没有办法修复吗，希望您能回复一下

[Jayden-cn]

你好，请问这个问题有解决吗？

[Juude]

用最新代码 设置 sampler penalty 即可

[jianking123]

用最新代码 设置 sampler penalty 即可 你好，请问我已经修改了以下配置，但是结果还是重复，最后配置的时候是根据模型设置页面走吗，但是config.json和模型页面配置都修改了还是有这问题，请问是我修改的不对吗

[Juude]

可以吧 penalty 的值设置的大一些。 或者使用 mixed 模式试试

[jianking123]

可以吧 penalty 的值设置的大一些。 或者使用 mixed 模式试试

感谢回复，把penalty 的值设置的大之后会出现下面的问题，但是使用 mixed 模式有效果，我会使用mixed 模式，谢谢

[github-actions[bot]]

Marking as stale. No activity in 60 days.