Chat-Haruhi-Suzumiya icon indicating copy to clipboard operation
Chat-Haruhi-Suzumiya copied to clipboard

关于几个训练细节的问题

Open gctian opened this issue 1 year ago • 5 comments

作者的项目非常赞,我有几个问题想请教下:

  1. 多个角色数据,是一起训练吗?还是每个角色训一个单独的 lora
  2. 比如训练【令狐冲】角色,那就是SFT的 QA微调,A=令狐冲的话,Q=上一条和令狐冲对话人的话,是这样格式吗?
  3. SFT微调是单轮微调,还是多轮微调?
  4. 怎么划分连续上下文呢?避免答非所问的QA
  5. 关于角色背景信息,还要进行指令微调吗?比如【令狐冲】的人物关系、角色技能等,光靠 system prompt不够充分吧

谢谢。

gctian avatar Jan 03 '24 11:01 gctian