ww

遇到同样的问题， 显卡：3090 cuda：11.4 torch：1.10.1

> > 问题有解决吗？我也遇到类似问题。我用了两张T4显卡，但只是实际只用到了一张。推理速度很慢  > > 改成镜像方式试试？我们换镜像启动后推理就挺快了 试了下在镜像里面进行推理，速度还是一样慢

I have got this same problem: RuntimeError: Error building extension 'fused_adam' sloved by update gcc version and activate it! it helps !

lora微调后，推理同样出现IndexError: piece id is out of range.的问题

same issue

在3090上lora模型推理，使用加速和不使用区别不明显！