PaddleNLP icon indicating copy to clipboard operation
PaddleNLP copied to clipboard

[Question]: uie,taskflow相关问题

Open yifeizhou980429 opened this issue 3 years ago • 5 comments

请提出你的问题

您好,在使用taskflow的时候,发现在 taskflow建立一个实例 ie之后,第一遍调用ie("text")所消耗的时间是后续消耗时间的10倍,感到很疑惑,请问是什么原因?是否是因为ie这一步加载了一些参数,是否可以通过提前初始化来避免这个时间差?感谢~

yifeizhou980429 avatar Oct 18 '22 07:10 yifeizhou980429

请提出你的问题

您好,在使用taskflow的时候,发现在 taskflow建立一个实例 ie之后,第一遍调用ie("text")所消耗的时间是后续消耗时间的10倍,感到很疑惑,请问是什么原因?是否是因为ie这一步加载了一些参数,是否可以通过提前初始化来避免这个时间差?感谢~

第一次计算的时候会加载模型,并且首次加载的时候会有加速的操作,因此首次加载会比较慢, 但是第二次加载速度会变快;同时生成一个任务之后,后续继续ie("text") 操作是不会加载模型,这里的耗时主要就是计算耗时了

wawltor avatar Oct 18 '22 08:10 wawltor

了解,那请问是否有办法可以提前加载模型呢?

yifeizhou980429 avatar Oct 18 '22 09:10 yifeizhou980429

了解,那请问是否有办法可以提前加载模型呢?

我理解模型加载一次之后就可以一直在内存,你的业务方式是不是通过服务化来部署了,例如开启一个flask + taskflow的服务,这个服务一直在监听请求,这样的话就可以达到你说的提前加载模型的作用

wawltor avatar Oct 18 '22 09:10 wawltor

确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。

yifeizhou980429 avatar Oct 18 '22 09:10 yifeizhou980429

确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。

可能需要看看docker服务的启动方式了,或者有没有截图可以看看运行server打印的日志,正常逻辑是不会这样的

wawltor avatar Oct 18 '22 09:10 wawltor

你这个问题解决了嘛

确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。

xxllp avatar Dec 06 '22 07:12 xxllp

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。

github-actions[bot] avatar Feb 05 '23 00:02 github-actions[bot]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。

github-actions[bot] avatar Feb 19 '23 00:02 github-actions[bot]