FastGPT
FastGPT copied to clipboard
应用等待llm api返回的超时时间可以通过配置文件和环境变量配置
例行检查
- [x] 我已确认目前没有类似 features
- [x] 我已确认我已升级到最新版本
- [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
- [x] 我理解并愿意跟进此 features,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭
功能描述 目前在本地尝试超长上下文的场景,因为属于技术验证,资源优先,所以需要等到超过15分钟才能得到llm计算返回,希望能够通过环境变量更改全局超时时间。 应用场景 超长上下文推理计算 相关示例 本地使用了超过80k的token做文章内容单次总结,模型能够支持超200k的上下文,但是fastgpt会超时导致无法得到结果。 希望能够和其他在docker的环境变量设置的参数一样,进行设置。