SenseVoice
SenseVoice copied to clipboard
导出的onnx 模型比 正常的模型推理慢
使用export 导出的onnx格式的模型,并使用SenseVoiceSmall加载,批次推理的时长,比原本使用AutoModel加载的原始模型 要慢7倍。是什么原因呢,都是使用GPU加载推理。