Serving
Serving copied to clipboard
docker内存不释放
客户端请求后,服务端内存不释放,多次请求后内存一直累加。
Paddle Server版本:0.8.3
代码:https://github.com/PaddlePaddle/PaddleClas/tree/release/2.3/deploy/paddleserving
Message that will be displayed on users' first issue
和paddle内存使用策略相关,推理默认是 auto_growth https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/flags/memory_cn.html#flags-allocator-strategy
单个分类模型,并发数concurrency设置为大于1的数,客户端每次请求内存都不会释放,设置FLAGS_allocator_strategy=naive_best_fit,客户端请求后一直卡住无返回值。该如何设置能够让单模型实现并发且内存及时释放呢?
单个分类模型,并发数concurrency设置为大于1的数,客户端每次请求内存都不会释放,设置FLAGS_allocator_strategy=naive_best_fit,客户端请求后一直卡住无返回值。该如何设置能够让单模型实现并发且内存及时释放呢?
只是我的问题是显存的
这个问题解决了吗?遇到同样的问题