chatgpt-mirai-qq-bot icon indicating copy to clipboard operation
chatgpt-mirai-qq-bot copied to clipboard

[BUG] 无法识别本地服务器运行的大模型提供的openai api接口

Open moqingx52 opened this issue 1 year ago • 2 comments

提交 issue 前,请先确认:

  • [x] 我已看过 FAQ,此问题不在列表中
  • [x] 我已看过其他 issue,他们不能解决我的问题
  • [x] 我认为这不是 Mirai 或者 OpenAI 的 BUG

表现
描述 BUG 的表现情况

运行环境:

  • 操作系统:win10
  • Docker: miniconda
  • 项目版本:2.5.3

复现步骤
描述你是如何触发这个 BUG 的 1.在本地运行大语言模型,如rwkv runner或者chatglm3,均提供openai api格式的接口: 图片 2.在config.cfg中增加api接入,如下: 图片 3.运行bot,未检测到api

预期行为
理论上这类api应该可以被识别并使用,如我用chatbox调用api,效果如下: 图片 实际上对应的操作就是将"https://api.openai.com/v1"替换为服务器地址加端口,可以正常运行 截图
相关日志、聊天记录的截图: 图片 并不会检测到

其他内容
如果是我config填写问题,希望在使用文档中增加rwkv runner的说明,其已经提供了合规的接口,希望增加支持。

moqingx52 avatar Nov 12 '23 04:11 moqingx52

上一个问题解决了,加个瞎写的api key即可。新的问题出现了,,,,如下,rwkv接口对上但是内容似乎错位了,GLM3没有问题 图片

moqingx52 avatar Nov 14 '23 06:11 moqingx52

上一个问题解决了,加个瞎写的api key即可。新的问题出现了,,,,如下,rwkv接口对上但是内容似乎错位了,GLM3没有问题 图片

请问解决了吗

kpupil avatar Dec 01 '23 03:12 kpupil