FunASR
FunASR copied to clipboard
ct-punc模型使用onnx推理无法生成英文标点
🐛 Bug
直接使用AutoModel 加载ct-punc 模型可以正确地为英文句子生成英文标点,但是按照教程使用funasr_onnx中的CT_Transformer无法生成英文标点。
To Reproduce
AutoModel 正常生成英文标点
from funasr import AutoModel
model = AutoModel(model="ct-punc")
model.generate(input='Hello world')
# [{'key': 'rand_key_2yW4Acq9GFz6Y',
# 'text': ' Hello world.',
# 'punc_array': tensor([1, 2])}]
导出onnx模型
funasr-export ++model=ct-punc ++quantize=true ++device=cpu
运行onnx模型,此时只能生成中文标点
from funasr_onnx import Paraformer, CT_Transformer
model = CT_Transformer("exported_model_dir")
model("Hello world")
# ('Hello world。', [1, 3])
Expected behavior
期望onnx版本也能生成英文标点
Environment
- Linux
- FunASR Version (1.1.9)
- PyTorch Version (2.4.1)
- How you installed funasr (
pip): - Python version: 3.10
- GPU (No)
- CPU( AMD 8845h)