AgentBench
AgentBench copied to clipboard
通过fastchat部署本地模型遇到的问题
您好,我使用fastchat进行加载chatglm3-6b模型,
step1 python3 -m fastchat.serve.controller
step2 python3 -m fastchat.serve.model_worker --model-path /ldata/llms/chatglm3-6b
step3 python3 -m fastchat.serve.openai_api_server --host 10.0.1.227 --port 30008
启动服务后,我修改了fs_agents.yaml文件,内容为
default:
module: "src.client.agents.FastChatAgent"
parameters:
name: "FastChat"
controller_address: "http://10.0.1.227:30008"
max_new_tokens: 512
temperature: 0
chatglm3-6b:
parameters:
model_name: "chatglm3-6b"
然后运行 python -m src.client.agent_test --config configs/agents/fs_agents.yaml --agent chatglm3-6b
接着新开了一个终端运行命令 python -m src.start_task -a,此时报错
mysql.connector.errors.DatabaseError: 2003 (HY000): Can't connect to MySQL server on '127.0.0.1:16018' (111)
请问这个问题怎么解决?还有请问我的步骤以及yaml文件有问题吗?期待您的回复!