CodePothunter
CodePothunter
Same, waiting for answer
“This gave me mAp of 51.4% rather than 55.5%.” Same issue, but I don't know why.
can't converge at all
亲测，一个略显尴尬的事实，ChatGLM-6B强不少
> 实测了一下，和chatglm6b效果有不少差距，例如在做prompt tuning时，moss经常会无法准确理解用户的意图，导致回答很奇怪。不过考虑到moss基座只有16b，glm的基座是130b，语义理解能力有差距很正常。感谢moss团队的开源，期待后续尝试更大的基座，看能否有进一步提高 chatglm 6B的基座就是6B
> > > 实测了一下，和chatglm6b效果有不少差距，例如在做prompt tuning时，moss经常会无法准确理解用户的意图，导致回答很奇怪。不过考虑到moss基座只有16b，glm的基座是130b，语义理解能力有差距很正常。感谢moss团队的开源，期待后续尝试更大的基座，看能否有进一步提高 > > > > > > chatglm 6B的基座就是6B > > glm有个130b的基座，6b是基于这个优化训练而来的 “基于”其实基于数据和经验，并非基于130B的模型（6B不是130B蒸馏得到的），所以从模型规模来说，这就是6B。