[Question]: uie,taskflow相关问题
请提出你的问题
您好,在使用taskflow的时候,发现在 taskflow建立一个实例 ie之后,第一遍调用ie("text")所消耗的时间是后续消耗时间的10倍,感到很疑惑,请问是什么原因?是否是因为ie这一步加载了一些参数,是否可以通过提前初始化来避免这个时间差?感谢~
请提出你的问题
您好,在使用taskflow的时候,发现在 taskflow建立一个实例 ie之后,第一遍调用ie("text")所消耗的时间是后续消耗时间的10倍,感到很疑惑,请问是什么原因?是否是因为ie这一步加载了一些参数,是否可以通过提前初始化来避免这个时间差?感谢~
第一次计算的时候会加载模型,并且首次加载的时候会有加速的操作,因此首次加载会比较慢, 但是第二次加载速度会变快;同时生成一个任务之后,后续继续ie("text") 操作是不会加载模型,这里的耗时主要就是计算耗时了
了解,那请问是否有办法可以提前加载模型呢?
了解,那请问是否有办法可以提前加载模型呢?
我理解模型加载一次之后就可以一直在内存,你的业务方式是不是通过服务化来部署了,例如开启一个flask + taskflow的服务,这个服务一直在监听请求,这样的话就可以达到你说的提前加载模型的作用
确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。
确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。
可能需要看看docker服务的启动方式了,或者有没有截图可以看看运行server打印的日志,正常逻辑是不会这样的
你这个问题解决了嘛
确实是这样,但是不知道为什么我们把相关服务打包进docker之后,尽管初始化了taskflow的服务,每次请求时感觉model都会重新加载,耗时较长。如果不打包进docker倒是没有这个问题。
This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。
This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。