eryyes

triton client 收到显存异常退出连接后，docker server端还占用着显存

子进程模式用后销毁，不适合triton这种高并发server模式,还有什么解决方法么？模型是自己训练的高精度模型，模型较大，所以cpu推理速度太慢，gpu比较合适，但是一直占着显存，这就尴尬了，再多卡也扛不住

是的，因为用的gpu，所以多线程，每个线程中对模型clone，执行完后del clone_model,但是gpu显存没降，有微信群么？交流方便点

@jiangjiajun 现在的部署方式是fastdeploy + triton 服务化部署 ，并发等各方面都很好的解决了，就是没办法释放gpu，子进程启动模型后释放，这种只适合跑批，不太适合常驻高并发的server模式吧。。。

@wanshichenguang 是triton的docker服务化部署么？怎么解决呢？能否说的详细点，感谢

@tink2123 其他模型都不错，现有所有模型中，表格识别模型准确率精度的确达不到，下面这张图中混合多种情况，现有模型没办法完美识别和还原 

首先导出model.pdmodel 等paddle interfere模型时不要包含后处理，-o weight=xxxx exclude_nms=True 然后再用paddle2onnx 导出，后续推理时，后处理需要自己处理