FunASR asr inference

asr inference

Open wwfcnu opened this issue 1 year ago • 4 comments

trafficstars

你好，请教一个问题：比如我在推理的时候设置batch_size=8，指的是在处理一条语音时，同时解码的token数，还是同时进行8条语音推理？

Dec 05 '23 09:12 wwfcnu

我理解是对同一条语音进行解码加速，不是同时处理好几条语音 @LauraGPT

Dec 06 '23 09:12 wwfcnu

https://alibaba-damo-academy.github.io/FunASR/en/egs_modelscope/asr/TEMPLATE/README_zh.html#id4

Dec 06 '23 15:12 LauraGPT

我看了文档，是不是只有gpu解码的时候才会设置多个batch_size，cpu解码使用默认的batch_size=1

Dec 07 '23 09:12 wwfcnu

https://alibaba-damo-academy.github.io/FunASR/en/egs_modelscope/asr/TEMPLATE/README_zh.html#id4

对于单个长音频的解码，设置batch_size是可以加速的是吧

Dec 07 '23 10:12 wwfcnu