Langchain-Chatchat [BUG]无法加载本地模型，会一直去找huggingface下载

模型已下载到本地，运行 python init_database.py --recreate-vs时一直提示模型加载问题，请教是什么原因

model配置如下： MODEL_ROOT_PATH = "/home/user/LLM/Model" #确定该文件夹下已下载了模型 MODEL_PATH = { "embed_model": { "bge-large-zh-v1.5": "bge-large-zh-v1.5", },

报错如下： 2024-02-21 15:55:08,017 - SentenceTransformer.py[line:110] - INFO: Load pretrained SentenceTransformer: /home/user/LLM/Model/bge-large-zh-v1.5 2024-02-21 15:55:08,401 - embeddings_api.py[line:44] - ERROR: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/home/user/LLM/Model/bge-large-zh-v1.5'. Use repo_type argument if needed.

Feb 21 '24 08:02 yxdz2024

🤖

嘿，@yxdz2024！很高兴再次遇见你，遇到什么麻烦了吗？希望这次我们能一起顺利解决。

您遇到的问题可能是由于Langchain-Chatchat应用程序加载模型的方式。应用程序可能每次运行时都尝试从Huggingface下载模型，因为它找不到本地下载的模型，或者没有配置为使用本地模型。

要解决此问题，您需要确保应用程序正确配置为使用本地模型。这可以通过在configs.model_config文件中的EMBEDDING_MODEL变量中设置本地模型的正确路径来完成。

然而，根据提供的上下文，init_database.py文件中没有与模型加载相关的特定代码或配置。因此，我无法提供更具体的解决方案。

如果问题仍然存在，您可能需要检查应用程序的其他部分，或者查看Langchain-Chatchat应用程序的文档，以了解如何正确配置应用程序以使用本地下载的模型。

如果您仍然遇到问题，请提供更多的上下文或详细信息。

另外，MODEL_PATH字典在model_config.py文件中的结构主要分为两个键：embed_model和llm_model。

embed_model键包含嵌入模型的路径。键是嵌入模型的名称，值是这些模型的路径。

llm_model键包含LLM（语言语言模型）模型的路径。键是LLM模型的名称，值是这些模型的路径。

这是MODEL_PATH字典的简化结构：

MODEL_PATH = {
    "embed_model": {
        "model_name_1": "model_path_1",
        "model_name_2": "model_path_2",
        ...
    },

    "llm_model": {
        "model_name_1": "model_path_1",
        "model_name_2": "model_path_2",
        ...
    }
}

例如，如果您想使用ernie-tiny模型进行嵌入，可以在embed_model键下找到其路径：

"ernie-tiny": "nghuyong/ernie-3.0-nano-zh"

如果您想使用chatglm2-6b模型进行LLM，可以在llm_model键下找到其路径：

"chatglm2-6b": "THUDM/chatglm2-6b"

参考资料：

Sources

About Dosu

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

Feb 21 '24 08:02 dosubot[bot]

bge-large-zh-v1.5

怎么加载本地bge-large-zh-v1.5，兄弟解决了吗

Feb 22 '24 03:02 WangXusheng1225

要不直接在你本地模型路径后面换上绝对路径试试，比如 "chatglm3-6b":"绝对路径”

Feb 22 '24 14:02 zRzRzRzRzRzRzR

要不直接在你本地模型路径后面换上绝对路径试试，比如 "chatglm3-6b":"绝对路径” 换成绝对路径了，还是不行 "embed_model": { "bge-large-zh-v1.5": r"D:\LLMs\bge-large-zh-v1.5", },

Feb 23 '24 01:02 WangXusheng1225

Langchain-Chatchat Langchain-Chatchat copied to clipboard

[BUG]无法加载本地模型，会一直去找huggingface下载

Sources

About Dosu

Langchain-Chatchat
Langchain-Chatchat copied to clipboard