HelloGithub233
Results
1
comments of
HelloGithub233
> > 想得到具体结果的话,top_p和temperature都设为0.01, do_sample设为False,应该是差在do_sample这个参数上了,可以试试 > > 问题得到了解决,但是我有点好奇的是,generate方法生成的接口耗时比chat的接口耗时要久得多,看了一下model_chatglm.py文件,chat方法里面其实是调用了generate方法的,反而性能更好,这是为什么呢 我和[HL0718](https://github.com/HL0718)遇到的问题一样,我输入的文本比较长,500~3000个字左右,chat方法的效果普遍好于generate方法,看了[modeling_chatglm.py](https://huggingface.co/THUDM/chatglm-6b/blob/main/modeling_chatglm.py),仍然找不到原因。“top_p和temperature都设为0.01, do_sample设为False”,也对我无效,请问有人搞清楚原因了吗。