Serving

Serving copied to clipboard

docker部署的gpu版本镜像报错

1

``` C++ Traceback (most recent call last): No stack trace in paddle, may be caused by external reasons. Error Message Summary: FatalError: `Segmentation fault` is detected by the operating system....

whalefa1I

Serving采用docker部署的方式，返回的结果是空的

1

 采用的是docker的方式进行部署的**registry.baidubce.com/paddlepaddle/serving:0.8.3-cuda10.1-cudnn7-runtime** 配置文件config.xml的内容如下： ``` #rpc端口, rpc_port和http_port不允许同时为空。当rpc_port为空且http_port不为空时，会自动将rpc_port设置为http_port+1 rpc_port: 18090 #http端口, rpc_port和http_port不允许同时为空。当rpc_port可用且http_port为空时，不自动生成http_port http_port: 9999 #worker_num, 最大并发数。当build_dag_each_worker=True时, 框架会创建worker_num个进程，每个进程内构建grpcSever和DAG ##当build_dag_each_worker=False时，框架会设置主线程grpc线程池的max_workers=worker_num worker_num: 10 #build_dag_each_worker, False，框架在进程内创建一条DAG；True，框架会每个进程内创建多个独立的DAG build_dag_each_worker: False dag: #op资源类型, True, 为线程模型；False，为进程模型 is_thread_op: False #重试次数,默认是10 retry:...

xiulianzw

float16数据类型支持问题

3

我们在使用paddle serving并适配自定义硬件类型时，对C++ serving中的float16数据类型有一些问题/疑问： 以`examples/C++/PaddleClas/imagenet`中resnet50 为例 ### client输入float16数据类型问题： client端对实际的numpy输入并没有做检查/转数，如果prototxt中定义了输入输出类型为float16，但是实际输入采用了numpy.float32，会出现精度问题。 prototxt定义： ``` feed_var { name: "image" alias_name: "image" is_lod_tensor: false feed_type: 5 shape: 3 shape: 224 shape: 224 } fetch_var { name:...

czr-gc

重新编译了serving，没有做任何更改，同样使用的0.9.0版本，使用同样的命令启动serving，但自己编译的serving不能正常加载某些op 下图是使用正常的官方提供的serving  下图是自己编译的serving  可以看到自己编译的serving 中--op Generalpicodetop GeneralFeatureExtractop没有正常加载。

mcl-stone

部署后执行案例python$ python -m paddle_serving_server.serve --model uci_housing_model --thread 10 --port 9292报错

2

完整错误如下： 版本0.6.2 Traceback (most recent call last): File "/home/ubuntu01/anaconda3/envs/paddleserving/lib/python3.8/runpy.py", line 185, in _run_module_as_main mod_name, mod_spec, code = _get_module_details(mod_name, _Error) File "/home/ubuntu01/anaconda3/envs/paddleserving/lib/python3.8/runpy.py", line 111, in _get_module_details __import__(pkg_name) File "/home/code/paddle/Serving-0.6.2/python/paddle_serving_server/__init__.py", line 17,...

wxf764571829

support k8s demo (Imagenet)

1

添加了imagenet的K8S的支持 1. 修改了中英文README，增加了对imagenet k8s应用的描述 2. 添加了K8S的yaml配置， * 采用最新的serving容器镜像 * 用paddle serving app包来下载imagenet模型 * 在容器中启动RPC服务 * 暴露9696端口给外部服务

bjjwwang

clinet请求服务，得不到响应，服务端日志无报错

1

 pipeline.log日志卡在这, pipeline.log.wf无报错日志

frankxyy

PaddleServing服务化部署后，服务端和客户端隔几天不定期的报grpc链接超时复位的错误，导致服务不可用

1

由于已经上生产环境，需要尽快解决，谢谢 # 环境： registry.baidubce.com/paddlepaddle/serving:0.8.3-cuda10.1-cudnn7-runtime作为基础镜像 由于要更改的grpc版本，grpcio==1.37.1和grpcio-tools==1.37.1 如下的三个包是定制的 paddle_serving_app-0.8.3-py3-none-any.whl paddle_serving_client-0.8.3-cp37-none-any.whl paddle_serving_server_gpu-0.8.3.post101-py3-none-any.whl # 报错 ERROR 2022-07-21 03:15:39,100 [app.py:1892] Exception on /nlp/v1/company_policy/policy_res [POST] Traceback (most recent call last): File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1950, in full_dispatch_request...

AI-Mart

macos上无法安装serving client whl包

1

 如上

frankxyy

pipline的方式要怎么写对应的op和配置

LeeLear