Langchain-Chatchat
Langchain-Chatchat copied to clipboard
配置默认LLM模型的问题
问题描述 / Problem Description 版本 tag: v0.1.13 ,设置默认语言模型的地方可能不合理
复现问题的步骤 / Steps to Reproduce 修改 .\configs\model_config.py 当中: LLM_MODEL = "chatglm-6b-int4" 并且已在 llm_model_dict 字典中设置模型路径。 运行 webui.py 时仍然尝试加载 chatglm-6b 而不是 chatglm-6b-int4 后来要修改 \models\loader\args.py 当中 parser.add_argument(.... 的部分,才能在启动时加载 chatglm-6b-int4
希望统一一下配置模型是哪个文件哪个位置,建议在 readme 里说明。
环境信息 / Environment Information
- langchain-ChatGLM 版本/commit 号:0.1.13
- 是否使用 Docker 部署(是/否):No
- 使用的模型(ChatGLM-6B / ClueAI/ChatYuan-large-v2 等):ChatGLM-6B
- 使用的 Embedding 模型(GanymedeNil/text2vec-large-chinese 等):GanymedeNil/text2vec-large-chinese
- 操作系统及版本 / Operating system and version: WIN10
- Python 版本 / Python version: 3.10
- 其他相关环境信息 / Other relevant environment information:
附加信息 / Additional Information 添加与问题相关的任何其他信息 / Add any other information related to the issue.
不用改文件也可以:
python webui.py --model chatglm-6b-int4
建议作者能把一些常用的设置项集中一个地方来放,这样对初入手使用的网友更友好。