Results 18 comments of Fred

百度的专家有什么建议吗?

请教一下,"onnx目前不支持控制流“是什么意思?推理不是输入一张图片,输出推理结果吗?

hi Jianjun, 我想用openvino的INT8方法进行量化加速,对于某些客户需求,是部署在CPU上的。

这两个模型,用OpenVINO直接load pdpaddle格式也是有问题的,用的版本是最新的2022.1。

现在OpenVINO有2条路可做,一个是能成功导出onnx格式,load onnx格式模型,一个是直接load paddle的模型,这2个路我都有提issue,看那条路更快了。

@xingchensong Yes, i use u2++_conformer model, and my export script is as below: python wenet/bin/export_onnx_cpu.py --config exp/u2++_conformer/train.yaml --checkpoint exp/u2++_conformer/final.pt --chunk_size -1 --beam 15 --num_decoding_left_chunks -1 --output_dir ./onnx/ my OS is...

I will try it for inference, and this may be a issue for onnx export, i think nbest need be set to a fixed value when exporting.