ChatIE icon indicating copy to clipboard operation
ChatIE copied to clipboard

如何接入ChatGLM呢

Open Yewx0310 opened this issue 1 year ago • 7 comments

Yewx0310 avatar Jul 20 '23 11:07 Yewx0310

直接把推理部分改成chatglm的就可以了,不过由于GLM的能力比ChatGPT弱需要修改一下提示词,我测试的是oneshot能够学习格式,但是生成的质量比较差,后面还会试试llama的生成效果如何,只能说跟监督学习比起来还是差挺多,但是胜在能够做很多不同的领域语料,而且可以通过lora微调glm来进行特定领域的微调,这个库我觉得还是主要做格式后处理。

Nydaym avatar Sep 11 '23 08:09 Nydaym

每个模型对提示词的反馈都不一样呀,好难受

chenylong avatar Sep 27 '23 01:09 chenylong

This is an automatic reply, confirming that your e-mail was received. Thank you.--------------------------------------------Best WishesWenxue Ye.

Yewx0310 avatar Sep 27 '23 01:09 Yewx0310

试了baichuan2的效果一般 加上few-shot应该会好些

lawliet1777 avatar Nov 03 '23 02:11 lawliet1777

This is an automatic reply, confirming that your e-mail was received. Thank you.--------------------------------------------Best WishesWenxue Ye.

Yewx0310 avatar Nov 03 '23 02:11 Yewx0310

试了baichuan2的效果一般 加上few-shot应该会好些 在开放领域的效果可以吗?不知道baichuan和chatglm到底哪个好一些

Yewx0310 avatar Nov 03 '23 03:11 Yewx0310

试了baichuan2的效果一般 加上few-shot应该会好些 在开放领域的效果可以吗?不知道baichuan和chatglm到底哪个好一些

试试新出的GLM3呢?不过我觉得可能都差不多毕竟参数量在那摆着呢。

Nydaym avatar Nov 03 '23 03:11 Nydaym