chatglm.cpp icon indicating copy to clipboard operation
chatglm.cpp copied to clipboard

Published 20 hours ago • verified publisher icon li-plus

ChatGLM3-6B转换模型后回答输出中英文混杂

Open vscodes2022 opened this issue 2 years ago • 5 comments

感觉ChatGLM3-6B模型转换后回答质量没有ChatGLM2-6B的效果好，经常出现回复中英文混搭、循环输出直至达到最大长度等问题。 之前ChatGLM2-6B-32K的模型转换后这个问题很明显，但ChatGLM2-6B基本上没这种问题。 现在ChatGLM3-6B的模型不论是原始8K的模型还是32K的模型，这个问题都很突出，能否优化一下啊？

vscodes2022 avatar Oct 30 '23 07:10 vscodes2022

我也是同样遇到这个问题

dcw4code avatar Oct 31 '23 15:10 dcw4code

试一试q8_0看看会不会好些

mepwang avatar Nov 02 '23 02:11 mepwang

q8_0也是一样的问题

tastypear avatar Nov 28 '23 19:11 tastypear

实测f16也有问题，感觉是模型本身的问题： 中英文混合输出，输出会带英语单词

tastypear avatar Nov 30 '23 07:11 tastypear

我测试下来将模型精度提高下从float16改到float32会大幅度降低中英文混杂问题 但是偶尔会有

llmadd avatar Jan 10 '24 03:01 llmadd