xtuner icon indicating copy to clipboard operation
xtuner copied to clipboard

[Feature] Integrated Training and Inference -- Part 1

Open pppppM opened this issue 10 months ago • 3 comments

加载模型 & Chat 用例:xtuner/model/auto.py

训练 alpaca

# 把 alpaca 数据集转换为 openai 格式 json
python xtuner/tools/convert_dataset.py tatsu-lab/alpaca alpaca --save-dir converted_alpaca
xtuner train xtuner/configs/internlm/internlm2_chat_1_8b/example.py

pppppM avatar Mar 29 '24 10:03 pppppM

加载模型 & Chat 用例:xtuner/model/auto.py

训练 alpaca

# 把 alpaca 数据集转换为 openai 格式 json
python xtuner/tools/convert_dataset.py tatsu-lab/alpaca alpaca --save-dir converted_alpaca
xtuner train xtuner/configs/internlm/internlm2_chat_1_8b/example.py

如果我要一起训练Alpaca和Alpaca-zh,我是先分别convert之后再用ConcatDataset还是一起convert

HIT-cwh avatar Apr 08 '24 02:04 HIT-cwh

无法使用work_dirs保存的config进行训练,目前我是卡在了 TypeError: collate_fn should be a dict or callable object, but got xtuner.model.TextFinetune.dataloader_collate_fn 是否有必要修一下?(好像有点难修,因为这个逻辑是 dataloader 的,应该是封装在 mmengine 内了)

LZHgrla avatar Apr 16 '24 05:04 LZHgrla

pr 567 的修改需要同步

HIT-cwh avatar Apr 16 '24 06:04 HIT-cwh