是否会考虑加入ONNX导出?
我测试了模型,中文的识别效果确实很赞。 想请问在后续工作中是否会考虑加入模型的ONNX导出?
同问
sherpa-onnx 下周会支持。已经能导出 .int8.onnx 模型
(py38) kuangfangjun:FireRedASR$ ls -lh onnx/*.int8.onnx
-rw-r--r-- 1 kuangfangjun root 425M Feb 16 xx:xx onnx/decoder.int8.onnx
-rw-r--r-- 1 kuangfangjun root 1.3G Feb 12 xx:xx onnx/encoder.int8.onnx
模型文件有点大。希望能开源 xs 配置的模型。
请看 https://github.com/k2-fsa/sherpa-onnx/pull/1865
@csukuangfj 请问开源了导出onnx的代码了么?
等你们开源了 xs 等参数量的模型, 我们后面还提供 torchscript 的导出代码。
https://k2-fsa.github.io/sherpa/onnx/FireRedAsr/index.html
这是在 sherpa-onnx 中使用 FireRedAsr ONNX 模型的 文档
如果xs 配置的模型也开源出来了,我们还会加 android 的 pre-built APK.
目前 large 配置的模型,模型文件太大了,超过 1GB 了。
哈啰~
欢迎使用这个链接自行导出简化的ONNX版本,模型图网络已包含了STFT声音特征处理,仅需简单地传入PCM-int16数据即可获得文字输出。此外,这份导出代码是基于LLM的导出经验进行了深度优化,在Intel CPU i3-12300上可以达到大约0.17的实时因子(RTF)。
sherpa-onnx 下周会支持。已经能导出 .int8.onnx 模型
(py38) kuangfangjun:FireRedASR$ ls -lh onnx/*.int8.onnx -rw-r--r-- 1 kuangfangjun root 425M Feb 16 xx:xx onnx/decoder.int8.onnx -rw-r--r-- 1 kuangfangjun root 1.3G Feb 12 xx:xx onnx/encoder.int8.onnx模型文件有点大。希望能开源 xs 配置的模型。
能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。
你是要用gpu跑么?
你是要用gpu跑么?
是的,想试一下 sherpa-onnx 在 nvidia 以及 昇腾 使用 onnxruntime-gpu 以及 onnxruntime-cann 的效果, 军哥能辛苦导出一个版本吗?
请看 https://modelscope.cn/models/csukuangfj/sherpa-onnx-fire-red-asr-large-zh_en-fp16-2025-02-16/files
能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。
更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。
fp16 模型,GPU (v100) 上的运行截图
fp16 模型,cpu 上的运行截图
请看 https://modelscope.cn/models/csukuangfj/sherpa-onnx-fire-red-asr-large-zh_en-fp16-2025-02-16/files
![]()
![]()
非常感谢 军哥!!!
验证了一下fp16 的 onnx 在 rtx3060 gpu 大约 0.25 的 rtx , 速度是 int8 的 3 倍。 还是很有意义!
能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。
更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。
军哥能帮忙导出 fp32 的模型吗?
能导出 fp16 的模型吗? int8 感觉精度不如 原始的工程。
更建议请他们尽快开源小模型,这样,用 fp32 跑, 速度也会很快的。
军哥能帮忙导出 fp32 的模型吗?
不能了。超过2GB了,不好传,文件太多
onnx
请问你是如何导出onnx的,另外你的onnx文件方便提供下载链接吗
onnx
请问你是如何导出onnx的,另外你的onnx文件方便提供下载链接吗
请去sherpa-onnx的文档里找fire red asr
请问下,导出FP16的代码有开源吗?能否参考下,我们想要导出动态batchsize的模型
请问下,导出FP16的代码有开源吗?能否参考下,我们想要导出动态batchsize的模型
可以给我发邮件,我发给你