邓金鸿
邓金鸿
> 大模型的问题吧 和fastgpt没关系。并发起来可能显存炸了 大模型并发用的unicorn,开了10个worker,直连压测是OK的 请问咱多用户同时请求大模型的时候,会中断其他的sse连接,仅保留单个连接吗
> > > 大模型的问题吧 和fastgpt没关系。并发起来可能显存炸了 > > > > > > 大模型并发用的unicorn,开了10个worker,直连压测是OK的 > > 请问咱多用户同时请求大模型的时候,会中断其他的sse连接,仅保留单个连接吗 > > 肯定是每个请求一个哇,saas 版都能几百并发😂 我们就是开了10个大模型进程呀,然后同时进行10个请求,通过FastGPT中转之后老是报Premature close,如果直接连大模型的/v1/chat/completion接口就正常,大佬有什么好的建议嘛,感谢!
加一,最好可以查询多一点历史记录,比如查询一周,一个月,半年之类的
>  不是有这个功能吗? 这个功能好像没开放api接口,请问是否可以把api开放出来呢
> 检索词又不一定是问题~得看你自个编排 我的检索词就是用户输入的问题 我输入一句话,点开查看详情,整个流程输入的用户问题不是我这次的话,而是这个chatId第一轮对话 总而言之,就是输入的问题和查看详情里面的问题不是同一段话 
> > > 检索词又不一定是问题~得看你自个编排 > > > > > > 我的检索词就是用户输入的问题 > > 我输入一句话,点开查看详情,整个流程输入的用户问题不是我这次的话,而是这个chatId第一轮对话 > > 总而言之,就是输入的问题和查看详情里面的问题不是同一段话 > >  > > 翻了 20 组日志没发现有这个问题,看看有没有别人遇到可以复现吧。或者手动多打印几次输出,看看什么时候变化了。 测了一下,通过网页聊天是正常的,API调用过程会有这个问题