taozhiyuai

Results 117 comments of taozhiyuai

STEP 1 除了你写的, # bot_type下面不需要加 OLLAMA="ollama"吗? @kaina404

我这边启动显示错误 Traceback (most recent call last): File "/Users/taozhiyu/Downloads/chatgpt-on-wechat/app.py", line 8, in from channel import channel_factory File "/Users/taozhiyu/Downloads/chatgpt-on-wechat/channel/channel_factory.py", line 4, in from common import const File "/Users/taozhiyu/Downloads/chatgpt-on-wechat/common/const.py", line 27, in "gpt-4-turbo-preview",...

我这边解决上面问题后运行成功. 建议吧STEP 6的model 解决下. 最好和lm studio一样, 忽略model, 否则每次换模型都改,太麻烦了. 成功运行截图

STEP 6 我没有在config.py里修改model, 只是在config.json里面按你说的修改了model. 运行成功. 还是如上说的,是否能像LM STUDIO, 用默认的模型设置

@zhayujie 建议合并代码,这样太好了.谢谢 @kaina404

> > STEP 6 我没有在config.py里修改model, 只是在config.json里面按你说的修改了model. 运行成功. 还是如上说的,是否能像LM STUDIO, 用默认的模型设置 > > 这里的config.json需要增加 ` "bot_type": "ollama", "model": "qwen:7b",` > > ![WX20240327-110858@2x](https://github.com/zhayujie/chatgpt-on-wechat/assets/146583103/44bd34e1-8e97-4215-9d18-184609cafca8) ![WX20240327-111047@2x](https://github.com/zhayujie/chatgpt-on-wechat/assets/146583103/73279b98-2595-4797-9576-4d5aec19ea0e) 我没有在config.py里面改model, 如图改的,运行成功

> > 针对STEP6, 建议改成不需要修改MODEL,就用默认的gpt3.5 turbo. LM STUDIO做服务器时, COW只需要修改API和BASE,可以工作. 每次换模型还需要改MODEL,太麻烦了. @kaina404 > > 这里是为了将默认的chat模型切换到ollama部署支持的模型,当然你可以直接修改bot_type为之前的chat模型也是可以的。当你修改了bot_type然后,就可以修改model对应的值,这样就可以直接切换ollama支持的其他模型了,例如:Gemma、qwen、llava、mistral等等 好复杂. 我用 lm studio + cow, 只需要修改config.json的api key 和api base,不需要改 model. 你看ollama + cow是否也可以这样.

@kaina404 还遇到个问题.因为我是COW ,OLLAMA本机MAC环境部署. 我盒盖休息时,COW就断了.再也不能恢复.但是openwebui就可以直接回应消息. 能否解决这个问题呢?

> > @taozhiyuai 这是我本地的修改。 > > 能否实现像LM STUDIO一样,不用修改MODEL呢? 这个能解决吗?