botchan icon indicating copy to clipboard operation
botchan copied to clipboard

[BUG]开启了流式输出,但依旧不是流式输出

Open Flyingpen opened this issue 1 year ago • 3 comments

如图所示,在环境配置上,已经将流式输出打开。 但经过反复测试,依旧不是流式输出,而是等待了许久后,才一口气给出全部答案。 image

另外,感谢作者提供了这么好的产品!方糖YYDS!!!

Flyingpen avatar Oct 11 '23 12:10 Flyingpen

image 补充日志情况。

Flyingpen avatar Oct 11 '23 12:10 Flyingpen

如图所示,在环境配置上,已经将流式输出打开。 但经过反复测试,依旧不是流式输出,而是等待了许久后,才一口气给出全部答案。 image

另外,感谢作者提供了这么好的产品!方糖YYDS!!!

我看了下Easy大佬说的:"支持流式返回,但因为交互方式限制,不是逐字输出,而是满一定字数发送一次消息(可通过环境变量设置)"

WyInnovate avatar Oct 12 '23 00:10 WyInnovate

文档里边有写,按环境变量 REPLY_CHUNK_LENGHT 设置的长度,分段发送。

easychen avatar Oct 12 '23 03:10 easychen