新版和旧版速度相差好大，并且没法用tensorrt加速

[float123]

我之前用master分支，用pb格式，测试速度大概为0.15s一张图，使用banjin分支，ckpt文件速度大概是1.2s一张图，转为pb格式后，速度降到1.5s左右了。

同时我想用tensorrt进行加速，发现新版和旧版都无法进行加速。

有大佬知道是什么原因吗？谢谢了。

环境是：tensorflow1.13.1，tensorrt5.1.5，cuda10.0，2080ti

[bagpeng]

你好，能请教一下banjin分支下怎么生成pb文件吗？

[Yangxiaojun1230]

@float123 请问最后有trt加速成功吗，我也在尝试呢

[float123]

隔了这么久，我现在来回答一下我之前的问题。

1. 在我的电脑上，旧的master版本在从推理结果获取text_recs的步骤上速度大概是0.15s，新版本要接近1s。具体什么原因没去分析，我直接替换了。
2. 如果采用tensorflow自带插件转tensorrt，1.13版本无法转化bilstm结构，只能转化卷积，但是会增加trt和tf之间切换带了的损耗，速度上和原来基本没区别，甚至可能更慢。1.15和2.0没试过，应该也差不多。
3. 目前我已经在tensorrt 实现了ctpn模型，没设置批量，如果只看推理速度，trt 在fp16下的速度是tf 的4~5倍，整体上速度翻一倍。