FlagAI-Open
如何支持多轮对话，能否给出一个支持的写法和实例，另外请教一下天鹰对话模型基于什么架构进行设计，有公开的论文可以学习下吗？
https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/Aquila-chat/generate_chat.py generate文件下面有多轮对话的实例
Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，在Aquila的训练过程中实现了比Magtron+DeepSpeed zero-2将近８倍的训练效率。Aquila语言大模型是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。
请问BMTrain是支持模型并行的吗？可以训练千亿级参数的模型吗？我只有40G的卡，千亿级参数的模型放不下@BAAI-OpenPlatform
请问BMTrain是支持模型并行的吗？可以训练千亿级参数的模型吗？我只有40G的卡，千亿级参数的模型放不下@BAAI-OpenPlatform
不支持模型并行，但是zero3本身会对模型切分。 可以训练千亿级参数的模型。 64卡可以训练100B以上模型。具体可以问下 https://github.com/OpenBMB/BMTrain。
https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/Aquila-chat/generate_chat.py generate文件下面有多轮对话的实例
人家说的是训练数据格式吧？ 训练格式怎么样的？
训练数据样例和格式请参考：https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/Aquila-chat/data/sft_samples.jsonl