ChatGLM2-6B icon indicating copy to clipboard operation
ChatGLM2-6B copied to clipboard
verified publisher icon THUDM

[BUG/Help] <title>是否可以复用ChatGLM-6B的方式做微调？性能如何？

Open yucc-leon opened this issue 2 years ago • 9 comments

Is there an existing issue for this?

  • [X] I have searched the existing issues

Current Behavior

指 ptuning-v2 的方式：https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md

Expected Behavior

No response

Steps To Reproduce

Not yet.

Environment

OS: Ubuntu 20.04
Python: 3.8
Transformers: 4.26.1
PyTorch: 1.12
CUDA Support: True

Anything else?

No response

yucc-leon avatar Jun 25 '23 08:06 yucc-leon

同样的疑问，等回答

dragononly avatar Jun 25 '23 14:06 dragononly

能否公开若干测试集的评测脚本？

wwngh1233 avatar Jun 25 '23 18:06 wwngh1233

cy

SolarKnight1 avatar Jun 26 '23 02:06 SolarKnight1

同问，顺便想问下后续会开放33B的模型吗？

SZ-ing avatar Jun 26 '23 02:06 SZ-ing

同样疑问，求解答

liuhuapiaoyuan avatar Jun 26 '23 03:06 liuhuapiaoyuan

目前看好像p tuning和lora都还没支持

Xzaohui avatar Jun 26 '23 03:06 Xzaohui

同问

lcxxxasd avatar Jun 26 '23 03:06 lcxxxasd

同问

Lumingous avatar Jun 27 '23 08:06 Lumingous

https://github.com/beyondguo/LLM-Tuning

这里实现了 ChatGLM 和 ChatGLM2 的 LoRA 微调，两行命令就可以跑。

根据目前少量的特殊任务的实验，ChatGLM2 微调之后并没有比 ChatGLM 更好，不过只是我少量的、特殊的实验。

beyondguo avatar Jun 28 '23 01:06 beyondguo

https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning 已经实现了跟一代一样的 p-tuning v2 和 全参数微调

duzx16 avatar Jul 04 '23 03:07 duzx16

@duzx16 实验后，在 q4 量化的模型上进行 p-tuning v2 微调（其他参数同 train.sh），原有模型的知识出现了大量的遗忘，无法正确回答 “我是谁“ 以及输出过程中大量出现 UNK 。

nzinfo avatar Sep 07 '23 03:09 nzinfo