ms-agent 能否使用本地的CHATGLM2模型？

能否使用本地的CHATGLM2模型，需要修改哪里的配置呢，有具体修改实例教程吗

Oct 12 '23 07:10 SKY-ZW

同问

Oct 13 '23 01:10 zheng157

我试了下, 可以用本地原生的chatglm2 6b 的模型进行推理, 但是效果没法看, 应该需要结合给的工具调用数据集微调下模型.

Oct 23 '23 06:10 soujie

我试了下, 可以用本地原生的chatglm2 6b 的模型进行推理, 但是效果没法看, 应该需要结合给的工具调用数据集微调下模型.

请问怎么配置呢

Oct 25 '23 08:10 gao-stu

我试了下, 可以用本地原生的chatglm2 6b 的模型进行推理, 但是效果没法看, 应该需要结合给的工具调用数据集微调下模型.

请问怎么配置呢？

Nov 21 '23 03:11 qxhuang123

我是本地起一个glm2 的openai api , 继承LLM新起一个类, 用requests.post 实现一下generate 功能就行了

Nov 23 '23 00:11 soujie

目前已经支持zhipu ai的glmv4接口，拉取最新代码。

Mar 12 '24 12:03 zzhangpurdue

请问如果我不用api的方式，而是用agent去调用本地的LLM，比如说qwen-7b,需要怎么操作啊，也不需要用gradio，就用RolePlay来调用，请问下是不是要继承BaseChatModel这个类，重写一个本地的LLM类，能不能麻烦提供一下demo，我看挺多人都有这个问题的

Apr 01 '24 09:04 XduSyL

可以，也可以使用本地拉起vllm的方式，参考 https://github.com/modelscope/modelscope-agent/blob/master/demo/demo_qwen_local_llm.ipynb

Apr 12 '24 07:04 zzhangpurdue

No response over 1 month, close this issue, reopen it if any follow questions.

May 13 '24 06:05 zzhangpurdue