chatgpt-mirai-qq-bot icon indicating copy to clipboard operation
chatgpt-mirai-qq-bot copied to clipboard

[Feature request]目前是否有办法或将来是否打算支持 text-generation-webui 本地加载的模型

Open hanmin0822 opened this issue 1 year ago • 3 comments

text-generation-webui 目前在load完模型后实际是默认开放了本地端口可以API调用的,想问下目前有办法支持吗,尝试使用了 [openai] openai.api_base = "https://127.0.0.1:5000/api" 这样的配置但似乎没有效果,会报错 image

如果目前没有支持的话,想问下将来是否打算支持呢?现在很多优秀的角色扮演模型都可以使用 text-generation-webui 来load并且 SillyTavern 已经支持了这种方式

hanmin0822 avatar Dec 03 '23 13:12 hanmin0822

补充一下,尝试改了下配置,现在直接识别API接口不对,这个校验是强制的吗 image

hanmin0822 avatar Dec 03 '23 13:12 hanmin0822

希望可以实现

Touch-Night avatar Dec 09 '23 15:12 Touch-Night

求支持啊,很需要!!!

nonotouchtouch avatar Jan 08 '24 11:01 nonotouchtouch