hbj52

关于atom-7b-chat长文本微调应如何进行？

5

感谢项目组提供的模型，非常优秀，也因此我希望基于你们模型再微调以供后续使用。 在使用的时候遇到两个问题。 1> 模型调用，在 [https://huggingface.co/FlagAlpha/Atom-7B-Chat](url) 上开篇提到 Atom-7B-32k-Chat ，不知该模型本身是否已经支持32K？是否使用的时候直接加载即可，不需要额外修改文件或参数，能使用32k长度 2> 模型微调，在该项目内提到 “Atom大模型默认支持4K上下文，利用位置插值PI和Neural Tangent Kernel （NTK）方法，经过微调可以将上下文长度扩增到32K”，不知是否有微调的DEMO？我想在长文本QA上尝试微调，但不知基于本项目应该如何入手。 先行感谢。

### Reminder - [X] I have read the README and searched the existing issues. ### Reproduction 当前我训练的代码大致如下： 基于some_dataset_a对模型model_a完成了num_train_epochs=1的训练。 ``` CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_path /root/model_a...