Mushroom
Mushroom
> 是我的网站。。。我会一直免费提供服务。感谢作者写的前端。后端其实是自己很早之前就写了的。联网功能也很早就有,后面参考https://github.com/circlestarzero/EX-chatGPT 做了prompt的优化,有apiKey池。加了很多key(60个)防止 429 请求过多。 请问oepnai不是根据ip+key双重验证限制的嘛?我之前做了测试,我加了key池,仍然429,所以认为它是限制了ip。
> 核心目的其实是: 1、阶段1-基于向量的相似检索。 通过对原始分段进行二次编辑,提升召回率和准确率。 这个过程可以是人工完成的,也可以是让LLM帮你摘要、精炼、生成最佳提问等等,可以很灵活。 > > 当前业界对这个阶段的优化手段五花八门,有先基于用户提问提取关键词,然后用关键词embedding后去检索的;也有对chunk让LLM生成最佳提问,基于最佳提问来匹配的;到底对召回率和准确率有多少提升,我也不清楚。但一定会比直接检索原始chunk要更优一些。 > > 2、阶段2-拼接上下文由LLM生成回答 这一步在附加字段中增加few-shot来优化LLM的最终回答,并且这个字段里的内容可以随时更新,而无需重新进行embedding。比较好理解。 > > 以上两步,分别编辑了原始chunk及其附加字段,本质上是在做知识库的清洗和精细化管理。感觉对专业知识库维护是有必要的。 > > 当然这两步可以都不做,不是必选的,就跟现在一样,相当于提供了傻瓜模式和专业模式。 完全认同,补充一点,在一些召回率较高的场景下,可以对chunk做总结,从而增加top_k。
哈哈哈刚想提issue
API 版本改成2023-12-01-Preview
> 我将默认API版本改成2023-12-01-Preview后,使用GPT-4-1106-Preview、GPT-35-Turbo-1106模型时仍然报错,错误信息: { "error": { "message": "Resource not found (request id: 20231212143149527931489jxBFD)", "type": "", "param": "", "code": "404" } } > > 各位兄弟有遇到吗? 你可以检查下你的部署名称以及 one-api 中是否勾选相关模型,以及前端实际请求的模型名称。
> > > 我将默认API版本改成2023-12-01-Preview后,使用GPT-4-1106-Preview、GPT-35-Turbo-1106模型时仍然报错,错误信息: { "error": { "message": "Resource not found (request id: 20231212143149527931489jxBFD)", "type": "", "param": "", "code": "404" } } > > > 各位兄弟有遇到吗? > > > >...
> > > 我将默认API版本改成2023-12-01-Preview后,使用GPT-4-1106-Preview、GPT-35-Turbo-1106模型时仍然报错,错误信息: { "error": { "message": "Resource not found (request id: 20231212143149527931489jxBFD)", "type": "", "param": "", "code": "404" } } > > > 各位兄弟有遇到吗? > > > >...
> > > > > 我将默认API版本改成2023-12-01-Preview后,使用GPT-4-1106-Preview、GPT-35-Turbo-1106模型时仍然报错,错误信息: { "error": { "message": "Resource not found (request id: 20231212143149527931489jxBFD)", "type": "", "param": "", "code": "404" } } > > > > > 各位兄弟有遇到吗?...
您好,看了下代码,请问您是随机调用的key吗?能否加一个参数,在当前key用完余额后再调用下一个key呢?这样可能会减少封号的风险,万分感谢!
> > 您好,看了下代码,请问您是随机调用的key吗?能否加一个参数,在当前key用完余额后再调用下一个key呢?这样可能会减少封号的风险,万分感谢! > > 很简单,不用 loadbalancer 来生成 next 函数,自定义一个实现:保存一个数组元素的指针,从指向第一个元素开始,暴露一个使指针+1的 increase 方法,在 chatprocess 捕获异常时检测是否为余额不足的错误,是的话就调用 increase 方法,然后重新执行 chatprocess 函数,这样就可以自动切换到下一个有余额的账号了 好的,谢谢,我尝试修改下,没有写过ts 233