FastDeploy gpu显存不释放

PaddleClasModel 通过gpu启动，后面和教程中的一样，在启动多线程的同时，进行clone()，但是线程执行完后gpu不释放，请问该如何解决？

Mar 03 '24 20:03 zhuxiaobin

是说模型占用的那部分显存没有释放么

Mar 04 '24 02:03 rainyfly

是的，因为用的gpu，所以多线程，每个线程中对模型clone，执行完后del clone_model,但是gpu显存没降，有微信群么？交流方便点

Mar 04 '24 06:03 zhuxiaobin

gpu显存由paddle框架统一管理的，可能显存在paddle的available的池里，只是你用nvidia-smi看起来是分配了没释放

Mar 05 '24 03:03 rainyfly

我使用fd加载uie模型也有这个问题

Mar 06 '24 08:03 wanshichenguang

现在没有支持释放。待进程结束会自动释放，可以尝试创建子进程加载模型，需要释放时，结束子进程即可

Mar 07 '24 07:03 jiangjiajun

@jiangjiajun 现在的部署方式是fastdeploy + triton 服务化部署，并发等各方面都很好的解决了，就是没办法释放gpu，子进程启动模型后释放，这种只适合跑批，不太适合常驻高并发的server模式吧。。。

Mar 14 '24 12:03 zhuxiaobin

@jiangjiajun 现在的部署方式是fastdeploy + triton 服务化部署，并发等各方面都很好的解决了，就是没办法释放gpu，子进程启动模型后释放，这种只适合跑批，不太适合常驻高并发的server模式吧。。。

子进程是可以解决，现在已经转onnx使用了

Mar 14 '24 13:03 wanshichenguang

@wanshichenguang 是triton的docker服务化部署么？怎么解决呢？能否说的详细点，感谢

Mar 14 '24 16:03 zhuxiaobin

FastDeploy FastDeploy copied to clipboard