MuZi

忘记是不是这个模型了，查找了很多7b左右的模型，记得有大佬说这个模型容量下做逻辑推理(数学计算)是表显比较差且不好训练的，个人认为试试更大的模型或者等创作者大佬来看看

我部署了一些大语言模型，很多需要设置回复的max_token，目前设备在采购中还未部署，你可以看一下是不是有token的限制

有几个参数 top_k还有个什么，是对随机性有影响的，我的理解是记载模型的时候随机种子确定了所以一开始回复内容是一样的，但是回复了一次之后里面应该还有个随机种子就发生变化了