dl_inference icon indicating copy to clipboard operation
dl_inference copied to clipboard

客户端问题

Open JinYiGao opened this issue 4 years ago • 4 comments

这个项目我整个都跑通了,但是客户端是Java程序,我想做一个网页进行线上推理服务,有什么比较好的思路吗?或者说客户端应该怎么改?

JinYiGao avatar Oct 24 '20 13:10 JinYiGao

  1. grpc协议是支持跨语言的,客户端可以使用其他语言来开发,grpc支持语言有C#、C++、Go、Java、Node、php和Python等
  2. 如果使用其他语言来开发客户端麻烦,可以将dl_inference/DLPredictOnline/dlpredictonline/改造成http服务,前端请求dlpredictonline http服务,由dlpredictonline服务请求后端模型

fengyu10 avatar Oct 26 '20 08:10 fengyu10

我目前打算采用nodejs来实现客户端,统一接入服务中predict函数的传入参数是PredictRequest类型的: image 那我在js中调用grpc的时候应该怎么传参呢?前后端能响应了 但就是参数貌似不对 在js中我应该怎么构造参数?

JinYiGao avatar Nov 08 '20 08:11 JinYiGao

初学者 有很多地方可能不是很明白 还望多指教。。。

JinYiGao avatar Nov 08 '20 08:11 JinYiGao

Predict.PredictRequest 对象为Tensorflow-Serving官方proto文件编译出来的java对象,proto文件:https://github.com/tensorflow/serving/blob/master/tensorflow_serving/apis/predict.proto

  1. 优先考虑js是否支持grpc,支持可将proto文件编译为js对象,直接传输此对象即可
  2. 若不支持,可以考虑后端开发服务做中转,js直接传输数据到后端java服务,后端java服务再调用dl_inference接口

fengyu10 avatar Aug 16 '21 12:08 fengyu10