EET icon indicating copy to clipboard operation
EET copied to clipboard

Published 20 hours ago • verified publisher icon NetEase-FuXi

clip加速10倍的测试代码是 ./example/python/models/clip_transformers_example.py 吗？我使用这个代码测试，只加速2点几倍

Open jinlingxu06 opened this issue 2 years ago • 6 comments

jinlingxu06 avatar Jul 28 '22 02:07 jinlingxu06

你好，您可以提供一下运行代码的硬件信息，还有torch、transformers的版本信息吗

SidaZh avatar Jul 28 '22 03:07 SidaZh

这是在2080ti上的运行结果，你可以参考一下 transformers==4.19.0 torch==1.12.0 image 此外，将测试代码的using_half参数设置成True使用eet fp16推理可以获得更好的加速效果

SidaZh avatar Jul 28 '22 03:07 SidaZh

NVIDIA A100-SXM torch: 1.10.1+cu111 transformers: 4.20.1 cuda：11.1 cudatoolkit：11.3.1 cudnn：8.0.4 Driver Version: 515.48.07 非常感谢您及时回复，以上就是我用的环境信息，您可以提供一下您刚刚这个结果所使用的详细的硬件信息吗

jinlingxu06 avatar Jul 28 '22 03:07 jinlingxu06

NVIDIA A100-SXM torch: 1.10.1+cu111 transformers: 4.20.1 cuda：11.1 cudatoolkit：11.3.1 cudnn：8.0.4 Driver Version: 515.48.07 非常感谢您及时回复，以上就是我用的环境信息，您可以提供一下您刚刚这个结果所使用的详细的硬件信息吗

NVIDIA GeForce RTX 2080 Ti cuda: 11.6 cudnn: 8.3.3 Driver version: 470.82.01

SidaZh avatar Jul 28 '22 06:07 SidaZh

好的，非常感谢

jinlingxu06 avatar Jul 28 '22 06:07 jinlingxu06

非常感谢反馈，有任何问题我们随时沟通

SidaZh avatar Jul 28 '22 06:07 SidaZh