Chat-Haruhi-Suzumiya icon indicating copy to clipboard operation
Chat-Haruhi-Suzumiya copied to clipboard

关于训练和结果复现的疑问

Open Zhuqln opened this issue 1 year ago • 2 comments

非常有趣的项目! 想和你们探讨两个问题,一是关于训练,二是关于效果复现的问题

首先关于训练,是否能够提供相关的训练细节呢,特别是数据集是否有特别的构造方式呢,在训练中需要给到多少的示例对话呢,是否有一个经验值,而且想知道在微调阶段是基于单轮还是多轮对话呢。

ps. 因为我想复现本地模型的角色扮演能力,但是用自定义角色。所以实际上我需要通过这种微调来确认对于新的角色构建需要怎样的一个路径以及对话创造成本,目前我预计采用13b的模型来做,因为考虑到对未见过知识的更好理解

另一个问题在于,我在使用你们的工程进行效果验证时发现,使用chatglm6b的chat进行推理时,结果是可复现并且正常的。但我在使用stream_chat方法时,结果出现对话重复严重。我很疑惑,不知道你们是否有在意这个问题。

Zhuqln avatar Nov 24 '23 03:11 Zhuqln