LLM chat 支持流式对话

[ivbydnlxgk]

现在貌似是等LLM回答完以后才进行音视频处理

这样的话，生成回答太长就会延时很久

怎么改成实时呢

[licon]

可以把 llm 的回答拆开（根据长度+标点符号进行分割），分批按顺序进行处理，这样能缩短音视频流的延时。

[lipku]

llm有流式输出接口

[dizhenx]

llm有流式输出接口

大模型有流式输出，但是发送给human接口后，后面的句子会覆盖前面的句子，使得tts只播放最后一个句子，咋办。如何让流式的句子，按顺序send出去，等上一句念完再依次发送下一句

[Jerry-723]

现在把大模型改成stream=True后可以一句一句处理了，这样只不过把延迟缩短到了第一句话上面，有没有办法实时生成呢？