MNN icon indicating copy to clipboard operation
MNN copied to clipboard

Linux环境下Vulkan推理比Windows环境下慢很多

Open Sodiride123 opened this issue 6 months ago • 1 comments

您好,目前遇到一个问题就是我用相同的nvidia GPU,MNN版本,一样的编译选项在Linux和Windows环境下部署Vulkan(buffer)后端推理,两个环境耗时差异很大。比如:

  1. 常规的超分模型在windows大概12ms,但在Linux上大概10000+ms。
  2. vision transformer的模型在windows大概20ms,但在Linux上大概900+ms

所有算子都是在Vulkan后端推理的,没有退回到CPU,然后linux升级了显卡驱动也是一样的结果。 打印每个算子看了一下,基本上在Linux环境下每个算子耗时都变长了,有的算子耗时变得格外的长,比如 glsl_nchwTonc4hw4_comp 和 glsl_blit_comp。然后换成OpenCL又测了一下,Linux和Windows的性能是差不多的。想问下大概是什么原因呢?

Sodiride123 avatar Jun 12 '25 02:06 Sodiride123

  1. 确认下是否跑到 gpu 上了(是否 linux 的 vulkan 驱动是软件模拟的)
  2. 看下是否有多张显卡,跑到较弱的显卡上了

jxt1234 avatar Jun 12 '25 11:06 jxt1234