-Franklin-

请问各位大佬如何设置超参数来微调呢

1

新人小白第一次接触大模型，请问各位前辈是怎么设置超参数来微调的呀，或者是如何进行调整的，有什么具体步骤吗，或者有什么评估手段可以实现不断调优呢

求助max_epochs 的问题

2

请问我在训练模型的时候，我想分别测试epoch为5和10的效果，可以只训练为10的时候吗，就是epoch为10是不是能包含5的情况呀，输出的权重文件是不是有对应5的时候

请问chatglm3的lora微调需要多大显存呀

4

求助关于显存的问题，我用xtuner的qlora配置用24G的显存是可以执行微调的，但是我希望尝试不量化的lora微调就是把关于量化的配置删掉后显示lora微调的显存不够是为什么呀，我采用chatglm3的官方lora微调24G是够的呀，后来我尝试利用双卡微调也是显示不够，是不是双卡不能叠加GPU而是只能加快速度呀，求助前辈们应该如何进行不量化的lora呢

求助一下大佬，我想做一个特定场景的微调，就是想做一个景区的导游。我该用什么思路去微调呢，就是数据集该如何制作

请问xtuner是在哪个地方修改模型的基础角色呀

2

就是设定模型的基础功能这样，比如你现在扮演一个医生什么什么的

KeyError: "Column length not in the dataset. Current columns in the dataset: ['input_ids', 'labels']"

1

请问这个报错如何解决呀，我的数据集格式是按照要求来的呀