PaddleMIX
PaddleMIX copied to clipboard
[Model][WIP] feat: Add internvl2 model for training
受散步 @sanbuphy 和 百度飞桨(厦门)人工智能产业赋能中心 邀请来给PaddleMIX套件支持InternVL2-8B。 基本搞完了但没对精度所以先来WIP下,肝到天亮有点昏昏欲睡😪。 顺便列下TODO:
- [x] 定义模型结构
- [x] 下载模型
- [x] 权重转换成paddle格式并贡献转换脚本
- [x] 修正Tokenizer bug
- [x] 修正预处理逻辑
- [x] 修正模型前向代码
- [ ] 测试dataset,dataloader
- [ ] 跑起SFT,LoRA训练任务
- [ ] loss 精度对齐。
预计在8月底之前搞完zzz