botchan
botchan copied to clipboard
[BUG]开启了流式输出,但依旧不是流式输出
如图所示,在环境配置上,已经将流式输出打开。
但经过反复测试,依旧不是流式输出,而是等待了许久后,才一口气给出全部答案。
另外,感谢作者提供了这么好的产品!方糖YYDS!!!
补充日志情况。
如图所示,在环境配置上,已经将流式输出打开。 但经过反复测试,依旧不是流式输出,而是等待了许久后,才一口气给出全部答案。
另外,感谢作者提供了这么好的产品!方糖YYDS!!!
我看了下Easy大佬说的:"支持流式返回,但因为交互方式限制,不是逐字输出,而是满一定字数发送一次消息(可通过环境变量设置)"
文档里边有写,按环境变量 REPLY_CHUNK_LENGHT 设置的长度,分段发送。