FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

fastdeploy和taskflow不能共存吗?

Open magicleo opened this issue 2 years ago • 4 comments


温馨提示:根据社区不完全统计,按照模板提问,可以加快回复和解决问题的速度


环境

  • 【FastDeploy版本】: 说明具体的版本,如fastdeploy-linux-gpu-0.8.0 fastdeploy-gpu-python 1.0.7 fastdeploy-tools 0.0.5

  • 【编译命令】如果您是自行编译的FastDeploy,请说明您的编译方式(参数命令)

  • 【系统平台】: Linux x64(Ubuntu 18.04) / Windows x64(Windows10) / Mac OSX arm(12.0) / Mac OSX intel(12.0) linux

  • 【硬件】: 说明具体硬件型号,如 Nvidia GPU 3080TI, CUDA 11.2 CUDNN 8.3 cuda 11.8

  • 【编译语言】: C++ / Python(3.7或3.8等) python 3.10

问题日志及出现问题的操作流程

当同时使用fastdeploy和taskflow部署的时候,会报错Segmentation fault。 但是我线上环境有一些模型已经用taskflow在管理了。需要怎么解决这个问题呢?

`
from paddlenlp import Taskflow import fastdeploy as fd

option = fd.RuntimeOption()
model_path ='/mnt/storage/utc/plm_v2/static/inference.pdmodel'
params_path = '/mnt/storage/utc/plm_v2/static/inference.pdiparams'
option.set_model_path(model_path, params_path)
option.use_gpu(1)
model=fd.Runtime(option)
utcClassification = Taskflow("zero_shot_text_classification",
                             model="utc-xbase",
                             schema=utc_labels,
                             task_path='/mnt/storage/utc/plm_v2',
                             pred_threshold=0,
                             max_seq_len=2048,
                             device_id=0,
                             num_workers=1)

`

magicleo avatar Oct 20 '23 09:10 magicleo

paddle版本多少,试下安装2.4.1看下

jiangjiajun avatar Oct 22 '23 11:10 jiangjiajun

@jiangjiajun paddle版本是以下这些。试了2.4.1也是会崩溃

paddle-bfloat 0.1.7 paddle-pipelines 0.6.1 paddle2onnx 1.0.6 paddlefsl 1.1.0 paddlenlp 2.6.1 paddleocr 2.6.1.3 paddlepaddle 2.5.1 paddlepaddle-gpu 2.5.1.post117

magicleo avatar Oct 23 '23 06:10 magicleo

paddle版本多少,试下安装2.4.1看下

另paddleNLP要求paddlepaddle>=2.5.1

image

magicleo avatar Oct 23 '23 07:10 magicleo

@magicleo 我也出现这种问题,你解决了吗 我的环境是: paddlenlp 2.7.2 paddlepaddle-gpu 2.6.0 fast-tokenizer-python 1.0.2 fastapi 0.110.0 fastdeploy-gpu-python 0.0.0 fastdeploy-tools 0.0.5

watertianyi avatar May 24 '24 08:05 watertianyi