ilovesouthpark

补充一下，4090单卡，torch 2.0.1，cuda 11.8，cudnn 8700，anacoda建立的虚拟环境

莫名其妙的好了。我怀疑是更新或者降级我的环境中的一些依赖有关，你试试升降级 torch和transformers试试。

model config里embedding模型用的cuda吗？或者是auto？ 试试cpu看，然后看看初始化是否出错。只是项目里那些sample的初始化我这里无论cpu还是cuda都能正确运行。显卡1张24g，1张10g。多张显卡的embedding的问题，前面有人讨论过你看看行不行，多显卡推理是没问题的。