lightseq在1080ti上性能还不如原生pytorch

[kitty-eu-org]

我在使用https://github.com/bytedance/lightseq/tree/master/examples/inference/python里面的代码导出bert-base-uncased的hdf5模型文件后，进行测试时发现其在1080ti的性能表现还不如原生的transformers，如下图： 是显卡型号或者是cuda版本问题吗？或者说我的代码问题，我基本用的就是examples里面的代码

[Taka152]

Please check #184

[zhouyonglong]

我也用的是1080ti，cuda11.0，tensorflow2.4，在example里面的bart测试上也不如huggingface版本

[kitty-eu-org]

你看下#184

[dingjingzhen]

1080和1080ti 算力不支持fp16，你可以试试pytorch分别用fp16和fp32，fp32应该也会比fp16快，lightseq底层用的cublas库，是需要硬件的算力支持的，

[DidaDidaDidaD]

我用的GTX 1660Ti显卡，转换后的模型时间也是比Hugging Face 的慢，按说算力达到了，win10上以前运行程序显示的算力是7.5