FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

内存超限问题

Open libingbingd opened this issue 1 year ago • 1 comments

您好,我同样的代码,同样的模型,之前都能跑起来,现在31个GPU了还是不行呢? 配置如下: 微信图片_20240306171824

报错如下: 微信图片_20240306172108

FlagEmbedding版本:从1.0.3试到最高版本;

代码如下: from FlagEmbedding import FlagModel model = FlagModel('/model/bge-large-zh', query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章:") while True: user_q = input("请输入1>> ") user_a = input("请输入2>> ") embeddings_1 = model.encode(user_q) embeddings_2 = model.encode(user_a) similarity = embeddings_1 @ embeddings_2.T #sc=similarity[0].tolist() print(embeddings_1.tolist()) print(similarity)

libingbingd avatar Mar 06 '24 09:03 libingbingd

建议查看是否有其他机器占用了显存,或者降低机器数量试试。如果一台机器能跑的话,这个代码应该在多台机器上也能跑。

staoxiao avatar Mar 07 '24 03:03 staoxiao