邓金鸿

Results 6 comments of 邓金鸿

> 大模型的问题吧 和fastgpt没关系。并发起来可能显存炸了 大模型并发用的unicorn,开了10个worker,直连压测是OK的 请问咱多用户同时请求大模型的时候,会中断其他的sse连接,仅保留单个连接吗

> > > 大模型的问题吧 和fastgpt没关系。并发起来可能显存炸了 > > > > > > 大模型并发用的unicorn,开了10个worker,直连压测是OK的 > > 请问咱多用户同时请求大模型的时候,会中断其他的sse连接,仅保留单个连接吗 > > 肯定是每个请求一个哇,saas 版都能几百并发😂 我们就是开了10个大模型进程呀,然后同时进行10个请求,通过FastGPT中转之后老是报Premature close,如果直接连大模型的/v1/chat/completion接口就正常,大佬有什么好的建议嘛,感谢!

加一,最好可以查询多一点历史记录,比如查询一周,一个月,半年之类的

> ![image](https://private-user-images.githubusercontent.com/10301545/350830072-a2b60338-026c-40ab-81b5-12b0af0ba496.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjE2MjA3NzUsIm5iZiI6MTcyMTYyMDQ3NSwicGF0aCI6Ii8xMDMwMTU0NS8zNTA4MzAwNzItYTJiNjAzMzgtMDI2Yy00MGFiLTgxYjUtMTJiMGFmMGJhNDk2LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MjIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzIyVDAzNTQzNVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWJkNzRkZmUwYTliMDRjOWVjNTc0OWZiNjFmMzIwNDJjMDJmNmNlY2FjZjNjYjJkYjU1M2FjMGI5OWJhYmQxOGUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.ArD0Jy3apQDWu1fjSTv3Ji94M8mv7wxAlDO3Hi944Vk) 不是有这个功能吗? 这个功能好像没开放api接口,请问是否可以把api开放出来呢

> 检索词又不一定是问题~得看你自个编排 我的检索词就是用户输入的问题 我输入一句话,点开查看详情,整个流程输入的用户问题不是我这次的话,而是这个chatId第一轮对话 总而言之,就是输入的问题和查看详情里面的问题不是同一段话 ![image](https://github.com/user-attachments/assets/baa28acf-e53a-4f52-ad61-44a225658186)

> > > 检索词又不一定是问题~得看你自个编排 > > > > > > 我的检索词就是用户输入的问题 > > 我输入一句话,点开查看详情,整个流程输入的用户问题不是我这次的话,而是这个chatId第一轮对话 > > 总而言之,就是输入的问题和查看详情里面的问题不是同一段话 > > ![image](https://private-user-images.githubusercontent.com/37295257/394653594-baa28acf-e53a-4f52-ad61-44a225658186.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MzM5NjUxOTksIm5iZiI6MTczMzk2NDg5OSwicGF0aCI6Ii8zNzI5NTI1Ny8zOTQ2NTM1OTQtYmFhMjhhY2YtZTUzYS00ZjUyLWFkNjEtNDRhMjI1NjU4MTg2LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDEyMTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQxMjEyVDAwNTQ1OVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWUwYTcyNGM5NTY4MzBiZDgzMDliOGExNzQ3MjJmNGFjZDRkMjg2MTJkYjQzNDNiODE3OTJmNDE0NWI1MzM0MzYmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.ZR_yZZI3DmFSPwutTBzMqx1O_RvCwPn2M9L2Kf3PGns) > > 翻了 20 组日志没发现有这个问题,看看有没有别人遇到可以复现吧。或者手动多打印几次输出,看看什么时候变化了。 测了一下,通过网页聊天是正常的,API调用过程会有这个问题