xtuner
xtuner copied to clipboard
[Feature] Integrated Training and Inference -- Part 1
加载模型 & Chat 用例:xtuner/model/auto.py
训练 alpaca
# 把 alpaca 数据集转换为 openai 格式 json
python xtuner/tools/convert_dataset.py tatsu-lab/alpaca alpaca --save-dir converted_alpaca
xtuner train xtuner/configs/internlm/internlm2_chat_1_8b/example.py
加载模型 & Chat 用例:
xtuner/model/auto.py
训练 alpaca
# 把 alpaca 数据集转换为 openai 格式 json python xtuner/tools/convert_dataset.py tatsu-lab/alpaca alpaca --save-dir converted_alpaca xtuner train xtuner/configs/internlm/internlm2_chat_1_8b/example.py
如果我要一起训练Alpaca和Alpaca-zh,我是先分别convert之后再用ConcatDataset还是一起convert
无法使用work_dirs保存的config进行训练,目前我是卡在了 TypeError: collate_fn should be a dict or callable object, but got xtuner.model.TextFinetune.dataloader_collate_fn
是否有必要修一下?(好像有点难修,因为这个逻辑是 dataloader 的,应该是封装在 mmengine 内了)
pr 567 的修改需要同步