bisheng icon indicating copy to clipboard operation
bisheng copied to clipboard

Published 20 hours ago • verified publisher icon dataelement

llm 的组件可以实现流的方式返回吗？

Open HiCoderMonkey opened this issue 1 year ago • 1 comments

llm 的组件可以实现流的方式返回吗？

HiCoderMonkey avatar Nov 28 '23 09:11 HiCoderMonkey

目前openai的是支持流式的。 本地模型还在适配中，预计下个版本会支持

yaojin3616 avatar Dec 01 '23 15:12 yaojin3616

已经支持。 可以升级最新的版本 0.2.2

yaojin3616 avatar Jan 17 '24 09:01 yaojin3616