[BUG/Help] 使用LoRA微调之后，推理过程中卡住了

[LuckyFanpu]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

微调之后，使用测试集进行预测，2000+条数据，在第8条就卡住不动了 没有针对这个任务进行微调的时候，在160条也卡住不动了

Expected Behavior

希望能够正常推理

Steps To Reproduce

微调完 --> 加载模型 --> 进行预测 --> 卡住 一条一般也就1s左右，卡住的等很多分钟都出不来

Environment

- OS:Ubuntu 20.04
- Python:3.9
- Transformers:4.27.4
- PyTorch:1.12
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

Anything else?

No response

[chuyg1005]

怎么解决的，我也遇到了，求帮助

[LuckyFanpu]

怎么解决的，我也遇到了，求帮助

没解决