uie预测速度

[ZTurboX]

uie-tiny通用模型做实体抽取能够符合基本使用，但cpu下单句预测1s左右，有什么提速方法

[wawltor]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

[ZTurboX]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

好的。如果自己微调后，做加速，是参考ernie3.0中的方法吗？

[wawltor]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

好的。如果自己微调后，做加速，是参考ernie3.0中的方法吗？

是的，参考ENRIE 3.0的方法，同时我们会把相关的加速集成Taskflow里面去

[ZTurboX]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

uie更新了在gpu下的加速方案，有么有在cpu加速方案呢

[liveopp]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

使用uie/deploy/python 中的代码，感觉cpu利用率不太高，好像没有利用多核？

[Zengpr]

本周我们会开源一个加速版本，例如多核预测，INT8量化，速度会有提升

请问加速版本的有了吗，用多进程好像失败了，或者有其他加速方法吗

[github-actions[bot]]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions[bot]]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。