GLM-130B icon indicating copy to clipboard operation
GLM-130B copied to clipboard

模型效果很差,是什么原因呢?

Open rchanggogogo opened this issue 1 year ago • 6 comments

安装量化后的 int4 版本,测试了几句对话,感觉效果很差啊。 image

猜测了一下原因:\

  • 没有对话数据做微调
  • 没有经过 RLHF 训练 有没有人交流一下。

rchanggogogo avatar Jun 19 '23 07:06 rchanggogogo

我就说不可能把ok的模型放出来哈,只可惜为了测试这个花的银子买硬件......

哈哈哈哈 根本 finetune 不起,但是 base 版本的效果这么扯,难道全靠 instruction?

rchanggogogo avatar Jun 20 '23 02:06 rchanggogogo

对啊,部署测了下效果相当差,不入6B版本,尽然在很多榜单上效果都不错,严重怀疑给的模型不是测试的版本

ljhust avatar Jun 20 '23 05:06 ljhust

image

niu-dali avatar Jun 21 '23 00:06 niu-dali

对啊,部署测了下效果相当差,不入6B版本,尽然在很多榜单上效果都不错,严重怀疑给的模型不是测试的版本

我看有个哥们还跑了测试 #94

rchanggogogo avatar Jun 21 '23 02:06 rchanggogogo

团队的人不出来说两句嘛?

bltcn avatar Jun 21 '23 07:06 bltcn

毕竟只是基座模型,想直接拿来用就去试试ChatGLM。

hoyden avatar Oct 17 '23 08:10 hoyden