LLaMA-Factory
LLaMA-Factory copied to clipboard
hiyouga
Unify Efficient Fine-Tuning of 100+ LLMs
 可能是什么问题？
作者您好，关于使用baichuan-7B做增量预训练有几个问题： ``` CUDA_VISIBLE_DEVICES=0 python src/train_pt.py \ --model_name_or_path path_to_your_model \ --do_train \ --dataset wiki_demo \ --finetuning_type lora \ --output_dir path_to_pt_checkpoint \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine...
May I have some hint about how to solve this question pls：  The detail：I want to use the dataset format like this in json file：  Then I just...
rt, 使用了下昨天开源的baichuan-7b-sft 模型，感觉挺不错的，想请问下训练过程使用了什么对话数据吗？方便公开吗~感谢！！
│ 771 │ │ if self.distributed_type == DistributedType.DEEPSPEED: │ │ ❱ 772 │ │ │ config = self.deepspeed_plugin.deepspeed_config │ │ 773 │ │ │ if config.get("fp16", {}).get("enabled", False): │ │...
这套代码包含了预训练、rlhf流程，还有lora、qlora技术。真的是很全面了。 但如果可以实现多轮对话构建，比如[q1，a1，q2，a2，q3，a3]，构建成训练样本为：prompt：q1*[IGNORE_INDEX]+a1++q2*[IGNORE_INDEX]+a2++q3*[IGNORE_INDEX]，response: a3 就更好了哈哈
报错： ``` Assistant: Traceback (most recent call last): Traceback (most recent call last): File "/tmp/cct/src/train_ppo.py", line 82, in Traceback (most recent call last): Traceback (most recent call last): File "/tmp/cct/src/train_ppo.py",...
command_file: null commands: null compute_environment: LOCAL_MACHINE deepspeed_config: gradient_accumulation_steps: 1 gradient_clipping: 1.0 offload_optimizer_device: none offload_param_device: none zero3_init_flag: true zero3_save_16bit_model: true zero_stage: 3 distributed_type: DEEPSPEED downcast_bf16: 'no' dynamo_backend: 'NO' fsdp_config: {} gpu_ids:...
