FunASR icon indicating copy to clipboard operation
FunASR copied to clipboard

Published 20 hours ago • verified publisher icon modelscope

SenseVoiceSmall模型导出onnx格式之后GPU版运行特别慢

Open moro0v0 opened this issue 1 month ago • 1 comments
trafficstars

我测试了导出的量化INT8的SenseVoiceSmall产生的onnx模型直接拿cpu和gpu去预测一个语音模型，观察到语音模型在使用cpu第一次只要1s多第二次只要0.1s。然后使用gpu反而更忙了第一次20s，第二次1s。这是什么问题

Image

moro0v0 avatar Oct 23 '25 11:10 moro0v0