Chat-Haruhi-Suzumiya
Chat-Haruhi-Suzumiya copied to clipboard
关于几个训练细节的问题
作者的项目非常赞,我有几个问题想请教下:
- 多个角色数据,是一起训练吗?还是每个角色训一个单独的 lora
- 比如训练【令狐冲】角色,那就是SFT的 QA微调,A=令狐冲的话,Q=上一条和令狐冲对话人的话,是这样格式吗?
- SFT微调是单轮微调,还是多轮微调?
- 怎么划分连续上下文呢?避免答非所问的QA
- 关于角色背景信息,还要进行指令微调吗?比如【令狐冲】的人物关系、角色技能等,光靠 system prompt不够充分吧
谢谢。