jiangxinAlgorithm

请教下关于推理速度问题

2

目前使用了docker+nvidia-docker2+tensorRT+TensorFlow-Serving环境对savemodel模型进行了部署，通过客户端-服务器模式测试，时间大概4秒左右，这个性能是无法满足在线应用的。（服务器是tesla T4 16g） 想请教下，各位大神有什么更好的解决方案吗？或者调用模型的方式，本地化部署等等。谢谢

图片中标注比较多，训练速度特别慢？请教下如何优化呢？

2

有同行说是draw_mask里面的三重循环影响的