Serving icon indicating copy to clipboard operation
Serving copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

pipline性能调优

Open ZTurboX opened this issue 3 years ago • 4 comments

pipline如何根据机器性能调优，比如配置文件中 的worker_num和concurrency

ZTurboX avatar Jan 28 '22 04:01 ZTurboX

worker_num是GRPC的线程数，这个主要占用CPU资源。

concurrency是你实际模型起的实例数，如果使用GPU的话，这个主要占用显存。

你可以根据你的请求最大并发数和CPU核数来确定worker_num。

根据请求最大并发数和显存来确定concurrency

HexToString avatar Jan 29 '22 03:01 HexToString

预测结束后，内存占用很大，有么有哪里可以配置内存的优化

ZTurboX avatar Feb 07 '22 07:02 ZTurboX

这个目前没有，估计是你预测过程中，并发数很高导致的缓存队列过大导致的，只能结束服务重新启动。

HexToString avatar Feb 09 '22 02:02 HexToString

并发数很高导致的缓存队列过大导致的，只能结束服务重新启

我也遇到 这个问题了

BeyondYourself avatar Mar 14 '22 02:03 BeyondYourself