Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

在那里能改最大并发数?

Open CingyQ opened this issue 1 year ago • 1 comments

用的内网穿透,会经常显示tunnel xxxx not found

CingyQ avatar Feb 29 '24 01:02 CingyQ

🤖

嘿,@CingyQ!又见面了,欢迎回来!希望你最近过得不错?

您可以在configs/server_config.py.example文件中修改Langchain-Chatchat的最大并发数。具体来说,您需要修改FSCHAT_MODEL_WORKERS字典中的"default"键下的"limit_worker_concurrency"参数。如果您经常遇到'tunnel xxxx not found'问题,增加这个并发数可能有助于解决问题。例如,您可以将其设置为10:

"limit_worker_concurrency": 10,

请注意,您需要在实际的server_config.py文件中进行这些更改,而不是在.example示例文件中。如果.example文件是唯一提供的配置文件,您需要将其复制并重命名为server_config.py,然后在该文件中进行更改。

关于limit_worker_concurrency参数的默认值,它在server_config.py文件的FSCHAT_MODEL_WORKERS字典中默认为5

增加limit_worker_concurrency参数值通常可以让系统处理更多的并发请求或任务。这个参数通常控制一个工作器或一组工作器可以同时处理的任务或请求的最大数量。当您增加limit_worker_concurrency时,系统可以在同一时间处理更多的请求,可能提高整体的吞吐量。这在高峰使用时期特别有利,因为此时进入的请求数量较高。然而,如果并发限制设置得过高,而没有适当的资源管理,可能会导致系统过载,导致性能降低甚至系统失败。因此,找到一个既能最大化吞吐量,又不会影响系统稳定性的平衡点是非常重要的。

请参考以下链接以获取更多信息:

Sources

About Dosu

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

dosubot[bot] avatar Feb 29 '24 01:02 dosubot[bot]

程序框架设计的时候没有考虑并发,是顺发的

zRzRzRzRzRzRzR avatar Mar 01 '24 14:03 zRzRzRzRzRzRzR