ChatGLM-Efficient-Tuning
ChatGLM-Efficient-Tuning copied to clipboard
hiyouga
Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
**### 下面两种多轮对话的方式，我自己构建的数据集应该选择哪种呢？** **方式一** `[ { "instruction": "你好，你能帮我解答一个问题吗？", "input": "", "output": "当然，请问有什么问题？", "history": [ [] ] }, { "instruction": "我想了解人工智能的未来发展方向，你有什么想法吗？", "input": "", "output": "人工智能在未来的发展方向可能包括更强大的机器学习算法，更先进的自然语言处理技术，以及更加智能的机器人。", "history": [ ["你好，你能帮我解答一个问题吗？", "当然，请问有什么问题？"], ] }, {...
单卡评价时候出错
CUDA_VISIBLE_DEVICES=0 python src/train_sft.py --do_eval --dataset example --checkpoint_dir path_to_checkpoint --output_dir path_to_eval_result --per_device_eval_batch_size 8 --max_samples 50 --predict_with_generate 报错为： 06/25/2023 09:10:02 - INFO - utils.common - Fine-tuning method: LoRA Traceback (most recent call...
It looks like the sample datasets only support pair comparison, so I am curious about if we have multiple optional answers ranks from highest to lowest, will it be worked...
错误内容如下： ```bash 0%| | 0/14400 [00:00
用 accelerate 普通的多卡模式可以微调模型，但是采用 deepspeed 与 dsdp 就都不行。 微调配置 ``` accelerate launch --config_file accelerate_config.yaml src/train_sft.py \ --do_train \ --dataset self_cognition \ --finetuning_type lora \ --output_dir checkpoint \ --overwrite_cache \ --per_device_train_batch_size 8...
File "D:\ai_zeng\ChatGLM-Efficient-Tuning\src\train_sft.py", line 28, in main model_args, data_args, training_args, finetuning_args = prepare_args(stage="sft") model_args, data_args, training_args, finetuning_args = prepare_args(stage="sft") File "D:\ai_zeng\ChatGLM-Efficient-Tuning\src\utils\common.py", line 295, in prepare_args File "D:\ai_zeng\ChatGLM-Efficient-Tuning\src\utils\common.py", line 295, in prepare_args...
如下是项目的examples.json，请问"history"中每一轮的机器回复会被拿来计算生成损失吗？还是说只有output会被计算损失？ [ { "instruction": "听起来很不错。人工智能可能在哪些方面面临挑战呢？", "input": "", "output": "人工智能面临的挑战包括数据隐私、安全和道德方面的问题，以及影响就业机会的自动化等问题。", "history": [ ["你好，你能帮我解答一个问题吗？", "当然，请问有什么问题？"], ["我想了解人工智能的未来发展方向，你有什么想法吗？", "人工智能在未来的发展方向可能包括更强大的机器学习算法，更先进的自然语言处理技术，以及更加智能的机器人。"] ] }, { "instruction": "好的，谢谢你！", "input": "", "output": "不客气，有其他需要帮忙的地方可以继续问我。", "history": [ ["你好，能告诉我今天天气怎么样吗？", "当然可以，请问您所在的城市是哪里？"], ["我在纽约。", "纽约今天晴间多云，气温最高约26摄氏度，最低约18摄氏度，记得注意保暖喔。"]...
**使用的是 sh alter_cog_chatglm2.sh** CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 python ../src/train_sft.py \ --model_name_or_path "**THUDM/chatglm2-6b-int4**" \ --use_v2 \ --do_train \ --dataset electric \ --dataset_dir ../data \ --finetuning_type lora \ --output_dir simple_one_path_to_sft_checkpoint \ --overwrite_cache \ --per_device_train_batch_size 1...
多卡训练报错
sft.sh accelerate launch --config_file accelerate_config.yaml src/train_sft.py \ --do_train \ --dataset self_cognition \ --finetuning_type lora \ --output_dir checkpoint \ --overwrite_cache \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 8 \ --gradient_accumulation_steps 2 \ --max_source_length...
