MNN
MNN copied to clipboard
有些聊天会无限重复输出
问题
llmchat会出现无限循环输出。
操作
当输入:
鲁迅作品
ai返回:
鲁迅是中国现代文学的重要作家,他的作品对中国现代文学产生了深远的影响。鲁迅的代表作包括《呐喊》、《狂人日记》、《祝福》、《孔乙己》、《药》、《阿Q正传》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔乙己》、《药》、《祝福》、《狂人日记》、《孔
模型数据
https://www.modelscope.cn/MNN/Qwen2.5-1.5B-Instruct-MNN.git
编译环境
采用最新代码,然后vscode2022编译。
提问鲁迅他就不停死循环输出、提问更复杂的cyclegan它能正常输出、奇怪。
试试 qwen3 系列的吧。
qwen2.5 问题必现
qwen2.5鲁迅问题必现,这是一个甄子丹的提问,也有问题。
Qwen3 偶尔
下面我切换Qwen3-1.7B-MNN出现过一次,不能重现。
如果切换模型可以解决,就算了,我跟踪调试mnn代码感觉不是代码问题,提出这个问题只是希望大佬们帮忙确定一下。我目的是封装mnn单机给eino框架来调用,做离线内网单机cpu推理。
Marking as stale. No activity in 60 days.