mhzn-yn

微调训练问题

1

1、作为微调来说，是用基础模型重新训练，还是使用微调的方式。 2、如果需要重新训练一个7b模型需要多少显存，说明中没有找到相关硬件需求表格。 3、对于长文本输入的情况下，更加适用于那种方式。

上下文长度。我没有在说明中找到关于long writer的上下文长度，是否是沿用的glm4-128k的输入上下文长度。

3

### System Info / 系統信息 我想知道long writer 的输入上下文长度，在整篇文章中，只写了输出的长度。麻烦作者告知，万分感谢。 第二个问题：微调训练，是否可以在windows 上使用LLaMA-Factory。 LLaMA-Factory上有标注支持glm4微调。如果不支持，还请给点相关信息。 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [x] The official example scripts /...