悟空

i'd like to do it

> 需要自己提前做一些 NLP 处理 具体是哪些处理 ? > 很多LLM API不稳定，需要重试、故障转移等容错机制。 重试比较好理解，故障转移怎么实现 ？ > 开发者希望进一步向外界提供基于LLM API的能力，实现收益（API货币化）。 提供给开发者的能力应该是应用层的能力，而不是分发 API 吧，不然消费者为什么中间商呢 ？ > 无论API增删，或者插件逻辑变化，都不会影响长连接的断开，对开启流特性（SSE）的API友好。 现在的插件都要完整读 Response Body, 似乎做不到支持 SSE > 实现LLMProxy插件（多模型协议统一、重试/故障转移提高稳定性、开源/商业模型切换降低成本、敏感词过滤屏蔽） 多模型统一，是指统一对外暴露一种社区普遍认可的协议（如 Openai v1），然后翻译成...

> It works fine for me with `on_click_stop`. Would you mind sharing a screen cast of the issue? My machine is a MacOS M2. When using `.on_click_stop` I click checkbox...