BrandonStudio

It seems that I forgot to add env var support......

Anthropic Claude 缓存的提示仅在5分钟内有效，我认为不适合本项目

> Anthropic 的 Caching 其实我有计划做的 这个我感觉没啥意义吧？它的适用场景一般是单一功能的聊天机器人，比如某公司的客服，需要短时间内多次调用API，并且多次调用的提示具有相同的前缀 这个项目一般是个人用，尽管不同的助手有不同的内置系统提示，但是，(1) 用户未必在5分钟内单一频繁地调用该助手；(2) 系统提示是可以更改的 如果每次聊天都写入缓存，但是5分钟内不命中的话，整体费用将提高25% Anthropic 支持最多4个缓存控制点，如果允许用户选择将缓存控制点插入何处，将不成比例地增加用户的理解成本，因为其它模型服务商不支持提示缓存，或以非常不同的方式支持。

问题还是5分钟的缓存时间限制，怎么样保证添加这个功能之后费用是减少的，而不是反而增加

这样的话应该再加个定时器

Anthropic 目前应该最多支持4个缓存控制。 此外，Anthropic 支持在单轮消息中间添加缓存。

Have you tried wsl2? You may follow [this guide](https://blog.bryanroessler.com/2020-12-14-btrfs-on-wsl2/#passthrough-the-btrfs-device-or-partition-to-wsl2).

@arvinxx Could you do some tests on other models like GPT, Claude, Gemini, etc.?

美国所有主流LLM提供商都屏蔽了香港

The chinaso engine is really critical for certain use cases. So please reserve the implementation and disable it outside