Wenqiang Li

[Question] 关于增量预训练的几个问题

3

作者您好，关于使用baichuan-7B做增量预训练有几个问题： ``` CUDA_VISIBLE_DEVICES=0 python src/train_pt.py \ --model_name_or_path path_to_your_model \ --do_train \ --dataset wiki_demo \ --finetuning_type lora \ --output_dir path_to_pt_checkpoint \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine...

首先，非常喜欢作者的项目！ 如题，希望作者能提供一个量化后的demo，以支持在8卡V100上进行微调，感谢🙏

希望作者可以将最新的Aquila-7B和baichuan-7B模型集成进来

9

- [✅] I checked to make sure that this is not a duplicate issue - [ ] I'm submitting the request to the correct repository (for model requests, see [here](https://github.com/shibing624/text-generation))...

ChatGLM3训练时报错TypeError: stat: path should be string, bytes, os.PathLike or integer, not NoneType

16

运行脚本如下： ``` deepspeed --include localhost:6 --master_port 520 train.py \ --train_path data/spo_0.json \ --model_name_or_path ChatGLM3-6B \ --per_device_train_batch_size 1 \ --max_len 1560 \ --max_src_len 1024 \ --learning_rate 1e-4 \ --weight_decay 0.1 \...