FlagEmbedding
FlagEmbedding copied to clipboard
内存超限问题
您好,我同样的代码,同样的模型,之前都能跑起来,现在31个GPU了还是不行呢?
配置如下:
报错如下:
FlagEmbedding版本:从1.0.3试到最高版本;
代码如下: from FlagEmbedding import FlagModel model = FlagModel('/model/bge-large-zh', query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章:") while True: user_q = input("请输入1>> ") user_a = input("请输入2>> ") embeddings_1 = model.encode(user_q) embeddings_2 = model.encode(user_a) similarity = embeddings_1 @ embeddings_2.T #sc=similarity[0].tolist() print(embeddings_1.tolist()) print(similarity)
建议查看是否有其他机器占用了显存,或者降低机器数量试试。如果一台机器能跑的话,这个代码应该在多台机器上也能跑。