KevinFan0

13B-chat微调训练每一步训练时长很长

2

请问下现在用最新release的baichuan2-13B-chat-v2版本做微调，在不使用xformers的情况下每一步的训练时长都需要50多秒，这是正常的吗？我现在的训练数据都是比较短的 这是我的训练参数 hostfile="" deepspeed --hostfile=$hostfile fine-tune.py \ --report_to "none" \ --data_path "" \ --model_name_or_path "" \ --output_dir "./output" \ --model_max_length 8192 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 1...

[BUG] <title>单机8卡A100进行Qwen-72B-chat-Int4 QLora训练时 出现OOM报错

7

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

[BUG] <title> 如何用vllm部署qlora后的模型

1

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...