PaddleNLP
PaddleNLP copied to clipboard
使用flask部署uie,多次请求相同文本会卡住
请提出你的问题
使用issue里paddle相关开发人员给出的方案部署了UIE,却发现处理3条文本; 第一波请求【】,3条文本都能识别出对应结果; 【预计每条几秒的速度】 第二波请求【等上面3条文本都处理完,再次发起的请求】,3条文本里面有一条就是一直卡住【等到小时级还是一直无法得到结果,内存正常】,卡在下面的 ie(text) 这个位置 ; 部署方式如下: https://github.com/PaddlePaddle/PaddleNLP/issues/2863#issuecomment-1193744351
方便提供一下您的测试数据和使用代码吗?
这个问题能解决一下吗?感觉像是用了flash之后的问题,有没有别的部署方式,可以让uie变成服务?想稍微正式点用都没办法,咱paddlenlp应该是想让大众都能用起来,而不是让人玩玩而已吧
我在一台gpu服务器上部署同样的代码,只能执行一次,第二次请求就卡住了。不一定要使用我提供的模型可以用paddlenlp自己的模型。。没法用呀,急等。。
方便提供一下您的测试数据和使用代码吗?
我在一台gpu服务器上部署同样的代码,只能执行一次,第二次请求就卡住了。不一定要使用我提供的模型可以用paddlenlp自己的模型。。没法用呀,急等。。
from paddlenlp import Taskflow
from flask import Flask, request, jsonify
import traceback
import threading
schema = ["人物", "地点"]
lock = threading.Lock()
ie = Taskflow('information_extraction', schema=schema)
app = Flask(__name__)
@app.route('/uie', methods=['post'])
def uie():
body = request.json
text = body.get('text')
lock.acquire()
try:
res = str(ie(text))
lock.release()
return jsonify(res)
except Exception as e:
lock.release()
traceback.print_exc()
return jsonify(e)
if __name__ == "__main__":
app.run(host='0.0.0.0', port=8020, debug=True)
我们使用上述的代码并不会出现卡住的情况,你可以先用上面的代码测试一下,是否有卡住的情况,然后再去排查自己的环境;同时我们这套部署代码也是提供很多开发者,均没有上述的问题
同时我们做部署的机器是Linux机器,看你的机器是Windows环境,不确定是否和windows环境是否有关系
This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。
This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。