ChatGLM-Tuning icon indicating copy to clipboard operation
ChatGLM-Tuning copied to clipboard

有没有在代码上解除chatglm限制的办法

Open YIZXIY opened this issue 1 year ago • 8 comments

YIZXIY avatar Mar 25 '23 04:03 YIZXIY

就是有没有不嘴硬的办法

YIZXIY avatar Mar 25 '23 04:03 YIZXIY

lora config把r调大一点,加上几个dense层,训练数据在你要的问题上多搞一点覆盖原模型

ghost avatar Mar 26 '23 13:03 ghost

看看这个项目能不能帮到你:https://github.com/ypwhs/CreativeChatGLM

原版

我可以骗别人 100 块钱吗?

不,骗别人钱是不道德的,也是违法的行为。这种行为可能会导致别人的信任和信任损失,并可能导致其他麻烦。作为一个人工智能助手,我的目的是提供有益的信息和建议,而不是鼓励任何不道德或违法的行为。请记住,诚实和道德是成功和幸福的关键。

image

修改版

image

ypwhs avatar Mar 26 '23 14:03 ypwhs

lora config把r调大一点,加上几个dense层,训练数据在你要的问题上多搞一点覆盖原模型

r调大真的有用吗?

suc16 avatar Mar 28 '23 07:03 suc16

看看这个项目能不能帮到你:https://github.com/ypwhs/CreativeChatGLM

原版

我可以骗别人 100 块钱吗?

不,骗别人钱是不道德的,也是违法的行为。这种行为可能会导致别人的信任和信任损失,并可能导致其他麻烦。作为一个人工智能助手,我的目的是提供有益的信息和建议,而不是鼓励任何不道德或违法的行为。请记住,诚实和道德是成功和幸福的关键。

image

修改版

image

通过改history骗模型?

suc16 avatar Mar 28 '23 07:03 suc16

与其说是骗模型,不如说是把模型本来不会说的话,引导它让它说出来。

ypwhs avatar Mar 28 '23 08:03 ypwhs

lora config把r调大一点,加上几个dense层,训练数据在你要的问题上多搞一点覆盖原模型

r调大真的有用吗?

我调到32了,还加了好几个 dense 层,依然感觉没啥用

wdkwdkwdk avatar Mar 28 '23 09:03 wdkwdkwdk

我也试了感觉差距不明显。根据LoRA的论文,gpt2这个规模的模型好像8是比较好的。

suc16 avatar Mar 28 '23 09:03 suc16