one-api icon indicating copy to clipboard operation
one-api copied to clipboard

Published 20 hours ago • verified publisher icon songquanpeng

如何接入本地的baichuan2-13b-chat模型

Open Mr-IT007 opened this issue 1 year ago • 5 comments

请问如何接入本地的baichuan2-13b-chat模型

Mr-IT007 avatar Sep 19 '23 07:09 Mr-IT007

目前需要提供一个 OpenAI 格式的 adaptor，然后通过自定义渠道实现

songquanpeng avatar Sep 19 '23 14:09 songquanpeng

目前需要提供一个 OpenAI 格式的 adaptor，然后通过自定义渠道实现

fastchat不支持么

vanche1212 avatar Dec 06 '23 17:12 vanche1212

fastchat连接报错 { "message": "type , code \u003cnil\u003e, message 补全 tokens 非预期返回 0", "success": false, "time": 0.003 }

coreyho avatar Dec 09 '23 11:12 coreyho

感觉是测试按钮有bug，直接用就好的

vanche1212 avatar Dec 09 '23 11:12 vanche1212

目前需要提供一个 OpenAI 格式的 adaptor，然后通过自定义渠道实现

fastchat不支持么

同问

lonngxiang avatar Apr 10 '24 02:04 lonngxiang