whisper模型微调后转为faster-whisper模型，流式解码的时候效果变差

Open zyjcsf opened this issue 9 months ago • 3 comments

您好，我最近用wenet里的whisper-finetune代码微调了一个whisper模型，然后将他转为faster-whisper支持的模型，用whisper streaming的代码进行流式解码，发现微调后的模型解码效果变差了很多（存在比较多的漏字问题），用wenet解码是正常的。请问下会是什么原因呢？

Apr 11 '25 12:04 zyjcsf

可能你转错了, 对比下精度

Apr 11 '25 12:04 Mddct

可是我用这个转换后的模型，离线解码效果和wenet模型的效果是一致的

Apr 12 '25 03:04 zyjcsf

发现微调后的模型如果word_timestamp设为True，不仅效果就很差，而且推理速度也会变慢，如果设为False，效果和推理速度都不会有影响

May 09 '25 07:05 zyjcsf