PaddleNLP icon indicating copy to clipboard operation
PaddleNLP copied to clipboard

使用flask部署uie,多次请求相同文本会卡住

Open zchengzhong opened this issue 2 years ago • 2 comments

请提出你的问题

使用issue里paddle相关开发人员给出的方案部署了UIE,却发现处理3条文本; 第一波请求【】,3条文本都能识别出对应结果; 【预计每条几秒的速度】 第二波请求【等上面3条文本都处理完,再次发起的请求】,3条文本里面有一条就是一直卡住【等到小时级还是一直无法得到结果,内存正常】,卡在下面的 ie(text) 这个位置 ; 部署方式如下: https://github.com/PaddlePaddle/PaddleNLP/issues/2863#issuecomment-1193744351

zchengzhong avatar Nov 04 '22 05:11 zchengzhong

方便提供一下您的测试数据和使用代码吗?

wawltor avatar Nov 04 '22 12:11 wawltor

方便提供一下您的测试数据和使用代码吗?

我上传一个文档,信息都在里面,辛苦你给看下,如果是flash这样部署有问题,辛苦给个别的式。 paddleUIE问题.zip

zchengzhong avatar Nov 05 '22 07:11 zchengzhong

这个问题能解决一下吗?感觉像是用了flash之后的问题,有没有别的部署方式,可以让uie变成服务?想稍微正式点用都没办法,咱paddlenlp应该是想让大众都能用起来,而不是让人玩玩而已吧

zchengzhong avatar Nov 17 '22 12:11 zchengzhong

我在一台gpu服务器上部署同样的代码,只能执行一次,第二次请求就卡住了。不一定要使用我提供的模型可以用paddlenlp自己的模型。。没法用呀,急等。。

方便提供一下您的测试数据和使用代码吗?

我在一台gpu服务器上部署同样的代码,只能执行一次,第二次请求就卡住了。不一定要使用我提供的模型可以用paddlenlp自己的模型。。没法用呀,急等。。

zchengzhong avatar Nov 17 '22 12:11 zchengzhong

from paddlenlp import Taskflow
from flask import Flask, request, jsonify
import traceback
import threading

schema = ["人物", "地点"]
lock = threading.Lock()

ie = Taskflow('information_extraction', schema=schema)
app = Flask(__name__)

@app.route('/uie', methods=['post'])
def uie():
    body = request.json
    text = body.get('text')
    lock.acquire()
    try:
        res = str(ie(text))
        lock.release()
        return jsonify(res)
    except Exception as e:
        lock.release()
        traceback.print_exc()
        return jsonify(e)

if __name__ == "__main__":
    app.run(host='0.0.0.0', port=8020, debug=True)

我们使用上述的代码并不会出现卡住的情况,你可以先用上面的代码测试一下,是否有卡住的情况,然后再去排查自己的环境;同时我们这套部署代码也是提供很多开发者,均没有上述的问题

同时我们做部署的机器是Linux机器,看你的机器是Windows环境,不确定是否和windows环境是否有关系

wawltor avatar Nov 18 '22 03:11 wawltor

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动,被标记为stale。

github-actions[bot] avatar Jan 18 '23 00:01 github-actions[bot]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天,即将关闭。

github-actions[bot] avatar Feb 01 '23 00:02 github-actions[bot]