xtuner
xtuner copied to clipboard
InternLM
An efficient, flexible and full-featured toolkit for fine-tuning LLM (InternLM2, Llama3, Phi3, Qwen, Mistral, ...)
# 书生·浦语大模型实战营——两周带你玩转微调部署评测全链路  人工智能技术的发展日新月异，其中大模型的发展尤其迅速，已然是 AI 时代最炙手可热的当红炸子鸡。 然而，大模型赛道对于小白开发者来说还是有不小的门槛。面对内容质量参差不齐的课程和实际操作中遇到的问题，许多开发者往往感到迷茫，不知道如何入手。 大模型的训练和部署需要强大的计算资源，普通开发者难以承受。 大模型开发对计算机新手的技术水平要求较高，是具有挑战性的任务。 大模型应用场景需要定制化训练，许多开发者缺乏相关行业知识和经验。 ...... 为了推动大模型在更多行业落地开花，让开发者们更高效的学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为广大开发者搭建大模型学习和实践开发的平台，两周时间带你玩转大模型微调、部署与评测全链路。 ## 你将收获 实力讲师：来自前沿科研机构、一线大厂和 GitHub 热门开源项目的讲师手把手教学 算力支持：算力资源免费提供，助力无忧训练大模型 专属社群：助教、讲师全程陪伴，提供录播回放、线上答疑及实战作业辅导 官方认证：优秀学员将获得荣誉证书，优秀项目有机会被官方收录，获得更多展示  惊喜礼品：InternLM 周边、蓝牙耳机、键盘、电脑支架......超多惊喜礼品等你来拿！  ## 面向对象 - 具备理工科背景，希望快速上车大模型领域、熟悉业界领先大模型工具链的学生开发者 - 从事人工智能领域，希望积累实战经验，提高技术能力和行业竞争力的企业开发者...
需要实现几种对齐算法 1.PPO 这个没的说，比较传统和通用，但是训练的开销会大一点 2. RAFT LMFLOW社区有做 `https://optimalscale.github.io/LMFlow/examples/raft.html` 3.pangu-coder2 RRTF (Rank Responses to align Test&Teacher Feedback) 总结一下是说，他们是用了代码单元测试，然后把单元测试的结果作为标签合并Loss微调LLM `https://arxiv.org/abs/2307.14936`   RRTF华为他们这部分没有开源。RAFT是开源了，RRTF可以的话可以一起讨论一起实现一下。
I use the command `xtuner check-custom-dataset $CONFIG`, and have a error. ```python Traceback (most recent call last): File "/xtuner/xtuner/tools/check_custom_dataset.py", line 157, in main() File "/xtuner/xtuner/tools/check_custom_dataset.py", line 51, in main dataset...
1. [x] Verify on the local Linux machine 2. [ ] Verify on Windows WSL 3. [x] Push to Docker Hub (docker pull pppppm/xtuner:0.1.9dev) 4. [ ] Verify on Aliyun
```python # reproduce srun -p debug --job-name=xtuner --nodes=2 --gres=gpu:8 --ntasks-per-node=8 --kill-on-bad-exit=1 xtuner train yi_34b_qlora_oasst1_e3_gpu16 --deepspeed deepspeed_zero2 --launcher slurm ``` ```python # loginfo File "/data/miniconda3/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 2261, in broadcast_object_list object_tensor =...
有三个问题，1.现在xtuner 支持lora训练msagent这种数据集，然后我已经复现了，请问能全量微调吗？ 2.如何用xtuner来构建训练的数据集呢？把如下部分位置加入然后模拟input和output是不是就行？ 3.下面这个例子是不是写了一条三轮对话的类似msaget的训练语料？ ``` :你是一个可以调用外部工具的助手，可以使用的工具包括： {'GoogleSearch': '一个可以从谷歌搜索结果的API。当你需要对于一个特定问题找到简短明了的回答时，可以使用它。输入应该是一个搜索查询。','PythonInterpreter': "用来执行Python代码。代码必须是一个函数，函数名必须得是'solution'，代码对应你的思考过程。"} 如果使用工具请遵循以下格式回复： Thought:思考你当前步骤需要解决什么问题，是否需要使用工具 Action:工具名称，你的工具必须从 ['GoogleSearch', 'PythonInterpreter'] 中选择 Action Input:工具输入参数 工具返回按照以下格式回复： Response:调用工具后的结果 如果你已经知道了答案，或者你不需要工具，请遵循以下格式回复 Thought:给出最终答案的思考过程 Final Answer:最终答案 开始! 用户:上海明天天气怎么样？ 助手:Thought:为了回答这个问题，我需要查找最新的天气预报数据。 Action:GoogleSearch Action Input:上海明天的天气预报 Response:根据最新的天气预报，上海明天的天气是晴转多云，气温介于20到28度之间。...
**Describe** CUDA out of memory. I'm fine-tuning the llama-2-70B using 3 sets of machines containing 8\*A100s (40GB)=24\*A100(40GB), and this error reported at first seemed like it should be an out-of-memory...
感谢开发者们打造了这么好用的开源训练框架。 目前在自己的电脑上复现训练营的内容，尝试使用多卡微调internLM的时候会报错。 ``` python NPROC_PER_NODE=2 xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py ``` 遇到的错误，自己尝试了1.8b的模型和7b的模型都有这个错误，模型都是从huggingface上面下载的。 但是单卡训练是可以的。 目前的环境（节选了报错信息中含有的包） ``` torch 2.1.2 transformers 4.36.2 xtuner 0.1.18 peft 0.9.0 mmengine 0.10.4 accelerate 0.29.3 ```
