UIE抽取耗时20ms,是否可继续缩短?
模型训练完毕后,UIE抽取耗时目前稳定在20ms左右。 显卡为16GB,已设置fp16。 是否还有其他方法可使耗时能继续缩短?
可以使用更小的UIE模型来极速

可以使用更小的UIE模型来极速
有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。
可以使用更小的UIE模型来极速
有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。
目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;
速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时
可以使用更小的UIE模型来极速
有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。
目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;
速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时
小模型和大模型的区别在哪里呢?会不会导致抽取能力有差异呢
可以使用更小的UIE模型来极速
有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。
目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的;
速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时
为何只能从二者选一个呐
可以使用更小的UIE模型来极速
有没有调参的办法呢。比如调整一些参数使速度更快? 另外,我想了解一下对于不同的模型大小,你们那边的预测速度大概是多少呢?想了解下20ms的速度是否跟你们对齐了。
目前比较快的方式就是切换模型到uie更小的模型上,这个相对也是比较方便的; 速度方面是没有办法发布出来的,因为速度和每个应用的schema设计有关系,schema越是复杂则耗时越多,没有办法统一一个耗时
为何只能从二者选一个呐
需要更新一下paddlenlp的版本,同时拉取最新的finetune.py脚本
OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?
OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?
可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了
OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?
可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了
换了小模型后耗时完全没有变化,有什么建议吗。目前耗时20ms的确还是有些长
OK了解,不过uie-tiny这个也是个小模型吧?应该也可以用哈?
可以的, uie-tiny 和 uie-medium 是同一个模型,新发布的tiny系列模型把命名规范统一了
换了小模型后耗时完全没有变化,有什么建议吗。目前耗时20ms的确还是有些长
应该不会的,换了小模型速度肯定会有提升,你看看是不是静态图的文件是不是没有被删除,static目录
模型训练完毕后,UIE抽取耗时目前稳定在20ms左右。 显卡为16GB,已设置fp16。 是否还有其他方法可使耗时能继续缩短?
请问下你是调用的什么模型结果是20ms啊?
This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。
This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。
为何只能从二者选一个呐