小海

通过api交互 prompt_config.py里面的配置生效吗？vllm模式启动时，问答经常出现中问里面偶尔出现英文的情况，可以在default里面加一下强制性提示吗，请给出例子。

1

"llm_chat": { "default": '{{ input }}', "with_history": 'The following is a friendly conversation between a human and an AI. ' 'The AI is talkative and provides lots of specific details...

通过webui客户端交互，报错IndexError: list index out of range

3

2024-03-15 11:12:59.932 Uncaught app exception Traceback (most recent call last): File "/home/user/anaconda3/envs/langchai-chat/lib/python3.11/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 535, in _run_script exec(code, module.__dict__) File "/home/chatglm3/Langchain-Chatchat/webui.py", line 64, in pages[selected_page]["func"](api=api, is_lite=is_lite) File "/home/chatglm3/Langchain-Chatchat/webui_pages/dialogue/dialogue.py", line 325, in...

chatglm3-6b模型llm模式，正常对话突然报错TypeError: object of type 'NoneType' has no len()

6

24-03-13 17:02:32,422 - utils.py[line:38] - ERROR: object of type 'NoneType' has no len() Traceback (most recent call last): File "/home/chatglm3/Langchain-Chatchat/server/utils.py", line 36, in wrap_done await fn File "/home/user/anaconda3/envs/langchai-chat/lib/python3.11/site-packages/langchain/chains/base.py", line 385,...

vllm模式启动，配置使用2个gpu，为什么只占用一块gpu，以下是server_config.py详细配置信息

7

FSCHAT_MODEL_WORKERS = { # 所有模型共用的默认配置，可在模型专项配置中进行覆盖。 "default": { "host": DEFAULT_BIND_HOST, "port": 20002, "device": LLM_DEVICE, # False,'vllm',使用的推理加速框架,使用vllm如果出现HuggingFace通信问题，参见doc/FAQ # vllm对一些模型支持还不成熟，暂时默认关闭 "infer_turbo": 'vllm', # 开启vllm后必须开启的参数 --start---- "max_parallel_loading_workers":22, "enforce_eager":False, "max_context_len_to_capture":2048, "max_model_len":2048, # ------end----------------------- # model_worker多卡加载需要配置的参数...

Vllm模式启动模型推理能力会下降吗，会出现问问题回答不完整甚至不返回的现象，server_config.py里面有哪些配置影响上述问题吗？另外load_format':'auto'这有哪几个配置，到哪去查看？

6

Vllm模式启动模型推理能力会下降吗，会出现问问题时回答不完整甚至不返回的现象，server_config.py里面有哪些配置影响上述问题吗？另外load_format':'auto'有哪几个配置项，到哪去查看？

server_config.py 开启"infer_turbo": 'vllm'模式加载chatglm3-6b启动报错

6

2024-03-13 09:51:31,055 - startup.py[line:655] - INFO: 正在启动服务： 2024-03-13 09:51:31,055 - startup.py[line:656] - INFO: 如需查看 llm_api 日志，请前往 /home/chatglm3/Langchain-Chatchat/logs ==============================Langchain-Chatchat Configuration============================== 操作系统：Linux-3.10.0-1160.108.1.el7.x86_64-x86_64-with-glibc2.17. python版本：3.11.7 (main, Dec 15 2023, 18:12:31) [GCC 11.2.0] 项目版本：v0.2.10 langchain版本：0.0.354....

自定义对话选择agent模式，输入查询北京天气后台不能成功查询，后台打印> Entering new AgentExecutor chain... Action: ``` {"action": "Final Answer", "action_input": "I will use the weather_check tool to check the weather in Beijing.\n"} ``` > Finished chain.另外，如何通过api方式调用agent模式？

2

自定义对话选择agent模式，输入查询北京天气后台不能成功查询，后台打印 > Entering new AgentExecutor chain... Action: ``` {"action": "Final Answer", "action_input": "I will use the weather_check tool to check the weather in Beijing.\n"} ``` > Finished chain. 另外，如何通过api方式调用agent模式？

langchain-chatchat如何自定义工具，像已有的天气查询一样，提供实例并讲述如何调用

1

langchain-chatchat如何自定义工具，像已有的天气查询一样，提供实例并讲述如何调用

使用模型chatglm3-6b,如何在langchain-chatchat交互中调用到chatglm3-6b自定义的工具（function calling），请提供实例

1

使用模型chatglm3-6b,如何在langchain-chatchat交互中调用到chatglm3-6b自定义的工具（function calling），请提供实例

使用模型chatglm3-6b,如何在langchain-chatchat交互中调用到chatglm3-6b自定义的function，请提供实例

1

使用模型chatglm3-6b,如何在langchain-chatchat交互中调用到chatglm3-6b自定义的function，请提供实例