cherry-studio 感觉流式输出有点卡顿

个人感觉流式输出有点问题：开始响应比较慢（感觉是因为积累一大段话才输出），输出时是一大段话一大段话输出，不像官网是一小句话一小句话输出的

Oct 11 '24 03:10 fresh-men

这个和 API 响应速度有关，软件不是瓶颈。我这里有很多服务商速度超快，也有一些速度就慢，即使用的是统一的模型。

Oct 11 '24 04:10 kangfenmao

我也不知道哪里出问题，使用Azure的api我在chatbox测试的时候，他的输出第一个词更快点，输出也更连贯，不会一大段一大段输出。但是用其他api不会出现这个问题，可能是因为我的网络环境问题吧。

Oct 11 '24 05:10 fresh-men

这个和 API 响应速度有关，软件不是瓶颈。我这里有很多服务商速度超快，也有一些速度就慢，即使用的是统一的模型。

这个是两个软件输出运行对比，可以发现明显chatbox测试的时候，他的输出第一个词更快点，输出也更连贯。使用的是同一个Azure的api，感觉输出确实更加卡顿，响应时间更久。希望能修复下

https://github.com/user-attachments/assets/6a42b8cf-fe8f-46e3-a6a8-5dc0367758a9

Oct 12 '24 11:10 fresh-men

破案了，把系统提示词调整成为一样的就可以了。我把系统提示词调整成一样的情况下，Cherry 明显更快一些

Oct 12 '24 16:10 kangfenmao

https://github.com/user-attachments/assets/b33f8f64-c687-44ee-b29e-e8988e9e8f29

Oct 12 '24 16:10 kangfenmao

我是用Azure的api使用一样的系统提示词，还是chatbox反应更快，我感觉可能是Azure的api的原因。Azure在Cherry输出时也很奇怪，都是成块成块的输出，不像chatbox均匀的输出。感觉像Cherry已经响应了，但是输出堆在了后台，累积到一定程度才输出。

https://github.com/user-attachments/assets/4fa38c73-533a-4b5e-b26b-0493067e8fed

Oct 13 '24 01:10 fresh-men

我用的 OpenAI 的 SDK，可能和这个有关系。今天还看到有人反馈，我要再研究一下，到底问题在哪里。

Oct 15 '24 09:10 kangfenmao

修改api-version=2024-02-15-preview后变正常了

Oct 16 '24 09:10 fresh-men

修改api-version=2024-02-15-preview后变正常了

震惊，跟这个有关系啊🤔

Oct 16 '24 09:10 kangfenmao

同样遇到这个问题，有什么解决办法吗

Dec 30 '24 13:12 vva1024

同样遇到这个问题，有什么解决办法吗

确实比较卡，他们服务的问题，其他厂商速度飞快

Dec 30 '24 13:12 kangfenmao

同样遇到这个问题，有什么解决办法吗

改下内容审查就行了，变成流式审查，以及api-version版本使用高点

Dec 30 '24 13:12 fresh-men

同样遇到这个问题，有什么解决办法吗

改下内容审查就行了，变成流式审查，以及api-version版本使用高点

感谢您的建议！我调整了一下流式审查，问题就解决了～

Dec 31 '24 08:12 vva1024