PaddleNLP icon indicating copy to clipboard operation
PaddleNLP copied to clipboard

UIE抽取耗时20ms,是否可继续缩短?

Open YiTSu opened this issue 3 years ago • 11 comments

模型训练完毕后,UIE抽取耗时目前稳定在20ms左右。 显卡为16GB,已设置fp16。 是否还有其他方法可使耗时能继续缩短?

YiTSu avatar Jul 20 '22 02:07 YiTSu

可以使用更小的UIE模型来极速 image

wawltor avatar Jul 20 '22 03:07 wawltor

可以使用更小的UIE模型来极速 image

有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。

YiTSu avatar Jul 20 '22 08:07 YiTSu

可以使用更小的UIE模型来极速 image

有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。

目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;

速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时

wawltor avatar Jul 20 '22 09:07 wawltor

可以使用更小的UIE模型来极速 image

有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。

目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;

速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时

小模型和大模型的区别在哪里呢?会不会导致抽取能力有差异呢

YiTSu avatar Jul 20 '22 13:07 YiTSu

可以使用更小的UIE模型来极速 image

有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。

目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;

速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时 截屏2022-07-20 21 42 18 为何只能从二者选一个呐

YiTSu avatar Jul 20 '22 13:07 YiTSu

可以使用更小的UIE模型来极速 image

有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。

目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的; 速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时 截屏2022-07-20 21 42 18 为何只能从二者选一个呐

需要更新一下paddlenlp的版本,同时拉取最新的finetune.py脚本

wawltor avatar Jul 20 '22 14:07 wawltor

OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?

YiTSu avatar Jul 21 '22 02:07 YiTSu

OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?

可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了

wawltor avatar Jul 21 '22 03:07 wawltor

OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?

可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了

换了小模型后耗时完全没有变化,有什么建议吗。目前耗时20ms的确还是有些长

YiTSu avatar Jul 22 '22 02:07 YiTSu

OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?

可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了

换了小模型后耗时完全没有变化,有什么建议吗。目前耗时20ms的确还是有些长

应该不会的,换了小模型速度肯定会有提升,你看看是不是静态图的文件是不是没有被删除,static目录

wawltor avatar Jul 24 '22 00:07 wawltor

模型训练完毕后,UIE抽取耗时目前稳定在20ms左右。 显卡为16GB,已设置fp16。 是否还有其他方法可使耗时能继续缩短?

请问下你是调用的什么模型结果是20ms啊?

KyleWang-Hunter avatar Aug 05 '22 07:08 KyleWang-Hunter

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。

github-actions[bot] avatar Dec 08 '22 06:12 github-actions[bot]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。

github-actions[bot] avatar Dec 22 '22 16:12 github-actions[bot]