RapidASR icon indicating copy to clipboard operation
RapidASR copied to clipboard
verified publisher icon RapidAI

CPP版本多核性能测试分析

Open acely opened this issue 2 years ago • 6 comments

测试环境Rocky Linux 8，仅测试cpp版本结果（未测python版本）

简述：

在3台配置不同的机器上分别编译并测试，在fftw和onnxruntime版本都相同的前提下，识别同一个30分钟的音频文件，分别测试不同onnx线程数量的表现。 image

目前可以总结出大致规律：

  • 并非onnx线程数越多越好
  • 2线程比1线程提升显著，线程再多则提升较小
  • 线程数等于CPU物理核心数时效率最好

实操建议：

  • 大部分场景用3-4线程性价比最高
  • 低配机器用2线程合适

acely avatar Mar 01 '23 06:03 acely

不错，感谢

znsoftm avatar Mar 01 '23 06:03 znsoftm

onnxruntime 看来要快不少

cgisky1980 avatar Mar 03 '23 02:03 cgisky1980

测试了一下 RK3588 加载模型的时间略长 推理速度快很多 这里线程数怎么改的？

cgisky1980 avatar Mar 03 '23 03:03 cgisky1980

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

znsoftm avatar Mar 08 '23 00:03 znsoftm

测试了一下 RK3588 加载模型的时间略长 推理速度快很多 这里线程数怎么改的？

加载时间长这个是必然的，模型比较大，嵌入板emmc也慢。 不过推理时很快。

znsoftm avatar Mar 08 '23 00:03 znsoftm

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

看到了 thx 4线程正好是RK3588上跑最佳配置

cgisky1980 avatar Mar 12 '23 20:03 cgisky1980