FunASR icon indicating copy to clipboard operation
FunASR copied to clipboard

ct-punc模型使用onnx推理无法生成英文标点

Open Yikai-Liao opened this issue 1 year ago • 0 comments

🐛 Bug

直接使用AutoModel 加载ct-punc 模型可以正确地为英文句子生成英文标点,但是按照教程使用funasr_onnx中的CT_Transformer无法生成英文标点。

To Reproduce

AutoModel 正常生成英文标点

from funasr import AutoModel
model = AutoModel(model="ct-punc")
model.generate(input='Hello world')
# [{'key': 'rand_key_2yW4Acq9GFz6Y',
#  'text': ' Hello world.',
#  'punc_array': tensor([1, 2])}]

导出onnx模型

funasr-export ++model=ct-punc ++quantize=true ++device=cpu

运行onnx模型,此时只能生成中文标点

from funasr_onnx import Paraformer, CT_Transformer
model = CT_Transformer("exported_model_dir")
model("Hello world")
# ('Hello world。', [1, 3])

Expected behavior

期望onnx版本也能生成英文标点

Environment

  • Linux
  • FunASR Version (1.1.9)
  • PyTorch Version (2.4.1)
  • How you installed funasr (pip):
  • Python version: 3.10
  • GPU (No)
  • CPU( AMD 8845h)

Yikai-Liao avatar Oct 05 '24 07:10 Yikai-Liao