PaddleMIX icon indicating copy to clipboard operation
PaddleMIX copied to clipboard

[Model][WIP] feat: Add internvl2 model for training

Open yinfan98 opened this issue 7 months ago • 3 comments

受散步 @sanbuphy 和 百度飞桨(厦门)人工智能产业赋能中心 邀请来给PaddleMIX套件支持InternVL2-8B。 基本搞完了但没对精度所以先来WIP下,肝到天亮有点昏昏欲睡😪。 顺便列下TODO:

  • [x] 定义模型结构
  • [x] 下载模型
  • [x] 权重转换成paddle格式并贡献转换脚本
  • [x] 修正Tokenizer bug
  • [x] 修正预处理逻辑
  • [x] 修正模型前向代码
  • [ ] 测试dataset,dataloader
  • [ ] 跑起SFT,LoRA训练任务
  • [ ] loss 精度对齐。

预计在8月底之前搞完zzz

yinfan98 avatar Jul 17 '24 20:07 yinfan98