FireRedASR icon indicating copy to clipboard operation
FireRedASR copied to clipboard

是否会考虑加入ONNX导出?

Open DrewdropLife opened this issue 10 months ago • 24 comments

我测试了模型,中文的识别效果确实很赞。 想请问在后续工作中是否会考虑加入模型的ONNX导出?

DrewdropLife avatar Feb 15 '25 14:02 DrewdropLife

同问

dfengpo avatar Feb 15 '25 15:02 dfengpo

sherpa-onnx 下周会支持。已经能导出 .int8.onnx 模型

(py38) kuangfangjun:FireRedASR$ ls -lh onnx/*.int8.onnx
-rw-r--r-- 1 kuangfangjun root 425M Feb 16 xx:xx onnx/decoder.int8.onnx
-rw-r--r-- 1 kuangfangjun root 1.3G Feb 12 xx:xx onnx/encoder.int8.onnx

模型文件有点大。希望能开源 xs 配置的模型。

csukuangfj avatar Feb 15 '25 16:02 csukuangfj

请看 https://github.com/k2-fsa/sherpa-onnx/pull/1865

Image

csukuangfj avatar Feb 16 '25 09:02 csukuangfj

请看 k2-fsa/sherpa-onnx#1865

Image

is this model supported finetune in k2-fsa?

leocheung54 avatar Feb 17 '25 02:02 leocheung54

请看 k2-fsa/sherpa-onnx#1865 Image

is this model supported finetune in k2-fsa?

no, not yet.

csukuangfj avatar Feb 17 '25 03:02 csukuangfj

@csukuangfj 请问开源了导出onnx的代码了么?

FireRedTeam avatar Feb 17 '25 07:02 FireRedTeam

@csukuangfj 请问开源了导出onnx的代码了么?

等你们开源了 xs 等参数量的模型,我们立马开源这个onnx 导出的代码。

csukuangfj avatar Feb 17 '25 08:02 csukuangfj

等你们开源了 xs 等参数量的模型, 我们后面还提供 torchscript 的导出代码。

csukuangfj avatar Feb 17 '25 08:02 csukuangfj

https://k2-fsa.github.io/sherpa/onnx/FireRedAsr/index.html

这是在 sherpa-onnx 中使用 FireRedAsr ONNX 模型的 文档

Image

如果xs 配置的模型也开源出来了,我们还会加 android 的 pre-built APK.

目前 large 配置的模型,模型文件太大了,超过 1GB 了。

csukuangfj avatar Feb 17 '25 09:02 csukuangfj

哈啰~ 欢迎使用这个链接自行导出简化的ONNX版本,模型图网络已包含了STFT声音特征处理,仅需简单地传入PCM-int16数据即可获得文字输出。此外,这份导出代码是基于LLM的导出经验进行了深度优化,在Intel CPU i3-12300上可以达到大约0.17的实时因子(RTF)。

DakeQQ avatar Apr 13 '25 16:04 DakeQQ

sherpa-onnx 下周会支持。已经能导出 .int8.onnx 模型

(py38) kuangfangjun:FireRedASR$ ls -lh onnx/*.int8.onnx
-rw-r--r-- 1 kuangfangjun root 425M Feb 16 xx:xx onnx/decoder.int8.onnx
-rw-r--r-- 1 kuangfangjun root 1.3G Feb 12 xx:xx onnx/encoder.int8.onnx

模型文件有点大。希望能开源 xs 配置的模型。

能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。

walletiger avatar Apr 22 '25 11:04 walletiger

你是要用gpu跑么?

csukuangfj avatar Apr 22 '25 11:04 csukuangfj

你是要用gpu跑么?

是的,想试一下 sherpa-onnx 在 nvidia 以及 昇腾 使用 onnxruntime-gpu 以及 onnxruntime-cann 的效果, 军哥能辛苦导出一个版本吗?

walletiger avatar Apr 22 '25 11:04 walletiger

请看 https://modelscope.cn/models/csukuangfj/sherpa-onnx-fire-red-asr-large-zh_en-fp16-2025-02-16/files

Image
Image

csukuangfj avatar Apr 23 '25 03:04 csukuangfj

能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。

更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。

csukuangfj avatar Apr 23 '25 03:04 csukuangfj

fp16 模型,GPU (v100) 上的运行截图

Image

fp16 模型,cpu 上的运行截图

Image

csukuangfj avatar Apr 23 '25 05:04 csukuangfj

请看 https://modelscope.cn/models/csukuangfj/sherpa-onnx-fire-red-asr-large-zh_en-fp16-2025-02-16/files

Image Image

非常感谢 军哥!!!

walletiger avatar Apr 23 '25 05:04 walletiger

验证了一下fp16 的 onnx 在 rtx3060 gpu 大约 0.25 的 rtx , 速度是 int8 的 3 倍。 还是很有意义!

walletiger avatar Apr 24 '25 02:04 walletiger

能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。

更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。

军哥能帮忙导出 fp32 的模型吗?

Abandon-ht avatar May 03 '25 08:05 Abandon-ht

能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。

更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。

军哥能帮忙导出 fp32 的模型吗?

不能了。超过2GB了,不好传,文件太多

csukuangfj avatar May 03 '25 08:05 csukuangfj

onnx

请问你是如何导出onnx的,另外你的onnx文件方便提供下载链接吗

dfengpo avatar May 05 '25 11:05 dfengpo

onnx

请问你是如何导出onnx的,另外你的onnx文件方便提供下载链接吗

请去sherpa-onnx的文档里找fire red asr

csukuangfj avatar May 05 '25 12:05 csukuangfj

请问下,导出FP16的代码有开源吗?能否参考下,我们想要导出动态batchsize的模型

chenm-123 avatar Nov 18 '25 11:11 chenm-123

请问下,导出FP16的代码有开源吗?能否参考下,我们想要导出动态batchsize的模型

可以给我发邮件,我发给你

csukuangfj avatar Nov 18 '25 14:11 csukuangfj