项目运行配置

[Yogier]

项目运行完美配置是什么？

[dosubot[bot]]

嘿，@Yogier！又见面了，真是太好了。希望这次能再次帮到你！

根据提供的configs/model_config.py.example，运行项目的完美配置涉及设置与要使用的模型、设备和API相关的各种参数。以下是关键配置的概述：

1. 模型根路径：在MODEL_ROOT_PATH中指定一个绝对路径，用于存储所有嵌入式和LLM模型。此路径可以包含每个模型的单独目录，或者是公共目录下的子目录。

2. 嵌入模型和设备：将EMBEDDING_MODEL设置为"bge-large-zh-v1.5"，并将EMBEDDING_DEVICE设置为"auto"以自动检测运行设备，尽管这可能会触发警告。

3. Reranker模型：RERANKER_MODEL设置为"bge-reranker-large"，但最初是禁用的（USE_RERANKER = False）。根据您的需求进行调整。

4. LLM模型：LLM_MODELS列表包括"chatglm3-6b"、"zhipu-api"和"openai-api"，其中"chatglm3-6b"是项目启动时默认加载的模型。选择模型时，请考虑您的硬件能力，特别是GPU内存。

5. LLM设备：与嵌入设备类似，LLM_DEVICE设置为"auto"以自动检测。

6. 在线LLM模型：为在线模型如"openai-api"、"zhipu-api"等配置API密钥和其他必要参数。确保您已填写有效的API密钥和其他凭据。

7. 本地模型路径：MODEL_PATH字典指定了各种模型的路径或标识符。调整这些路径，使其指向您的模型的正确位置，无论它们是存储在本地，还是要从Hugging Face或其他来源获取。

8. 支持代理模型：SUPPORT_AGENT_MODEL列表包括"openai-api"、"qwen-api"、"zhipu-api"、"chatglm3-6b"、"internlm2-chat-20b"和"Orion-14B-Chat-Plugin"等模型。这表明支持代理功能的模型。

要实现完美配置，请确保：

• 您有足够的硬件资源（特别是GPU内存）来支持所选模型。
• MODEL_ROOT_PATH正确设置为您有足够权限和空间的目录。
• 已获取所有必要的API密钥和凭据，并已正确填写在线模型。
• 设备设置（EMBEDDING_DEVICE和LLM_DEVICE）与您的硬件兼容，或者如果不喜欢"自动"检测，可以明确设置为特定设备。

根据您的具体项目要求、可用硬件和您打算使用的模型调整配置。

参考资料：

• configs/model_config.py.example

Sources

• configs/model_config.py.example
• server/utils.py

About Dosu

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[zRzRzRzRzRzRzR]

查看wiki