试了下中文instrcut数据微调，效果好像还行

[27182812]

See this in detail：https://github.com/27182812/ChatGLM-chinese-insturct

[mymusise]

数据集是Alpaca-zh?

欢迎同学的LoRA提PR 👏🏻 ：https://github.com/mymusise/ChatGLM-Tuning#lora

[wanghia]

给的例子里面三原色都不对了，另外很多重复的话

[27182812]

我自己试的时候，好像重复的话不多，是不是参数的问题，不过比原始的ChatGLM-6B相比回复会变短。

[980202006]

大佬们都微调了多久，我微调后全是重复的语句

[MichaelToLearn]

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

[kevinuserdd]

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

怎么解决的？我也出现空

[note-lh]

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

怎么解决的？我也出现空

同样的问题，预测内容全是空

[kevinuserdd]

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

怎么解决的？我也出现空

同样的问题，预测内容全是空

是因为推理时候的设置，do_sample,还有和你训练长度有关

[xiaoyichao]

https://github.com/27182812/ChatGLM-chinese-insturct

我自己写的代码在这个数据集上alpaca_gpt4_data_zh.json 通过lora训练后，也是进入了复读机的模式，训练的数据越多，也会进入这样的情况

[shixiaoyangaaa]

复读机的情况，可以调一下预测的生成参数，增加随机性

[Daniel-1997]

复读机的情况，可以调一下预测的生成参数，增加随机性

你好，我现在也遇到了复读机情况，能说得具体些吗？调整哪些参数，do_sample 和 temperature?

[xinj7]

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

怎么解决的？我也出现空

同样的问题，预测内容全是空

是因为推理时候的设置，do_sample,还有和你训练长度有关

你好 请问具体是什么意思呢。do_sample应该设置为False？训练长度方面需要考虑什么呢？

[shixiaoyangaaa]

增加随机性，一般就不会复读机，集束或者dosample都试一下

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2023年06月10日 00:06 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [mymusise/ChatGLM-Tuning] 试了下中文instrcut数据微调，效果好像还行 (Issue #70) |

大佬们都微调了多久，我微调后全是重复的语句

我微调后都是空。。。

怎么解决的？我也出现空

同样的问题，预测内容全是空

是因为推理时候的设置，do_sample,还有和你训练长度有关

你好 请问具体是什么意思呢。do_sample应该设置为False？训练长度方面需要考虑什么呢？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[shixiaoyangaaa]

你可以看一下，t设到0，就很容易复读机

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2023年06月08日 15:00 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [mymusise/ChatGLM-Tuning] 试了下中文instrcut数据微调，效果好像还行 (Issue #70) |

复读机的情况，可以调一下预测的生成参数，增加随机性

你好，我现在也遇到了复读机情况，能说得具体些吗？调整哪些参数，do_sample 和 temperature?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>