smallsmallwood

我遇到了同样的问题，我设置prefix_projection=True，并注释了quantization_bit 4，采用半精度训练。 显卡：v100，32g ;torch 2.0.0; transformers 4.27.1; python 3.8.10 train.sh 如下： PRE_SEQ_LEN=128 LR=2e-2 CUDA_VISIBLE_DEVICES=0 python3 main.py \ --do_train \ --train_file AdvertiseGen/train.json \ --validation_file AdvertiseGen/dev.json \ --prompt_column content \ --response_column summary...

我调整了学习率，loss正常下降了

I have the same problem.

mark