Paddle-Lite icon indicating copy to clipboard operation
Paddle-Lite copied to clipboard

新人求助,能提供bert,pythonAPI推理部署示例嘛,我该如何做前处理和后处理。

Open Piterang opened this issue 1 year ago • 2 comments

新人求助,能提供bert,pythonAPI推理部署示例嘛,我该如何做前处理和后处理。

Piterang avatar Jun 14 '24 07:06 Piterang

  1. 如果是口语理解(Spoken Language Understanding,SLU)任务可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0-tiny/deploy/cpp/infer_demo.cc 或 https://github.com/hong19860320/PaddleLite-generic-demo/blob/55c8f7936e6e1c40231c5c9472c5251891a9ae01/spoken_language_understanding_demo/shell/demo.cc#L344 ,需要注意的是 tokenizer 使用了 PaddleNLP 的 fast_tokenizer 加速库 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/fast_tokenizer 。
  2. 不同任务前、后处理差异都比较大,可以参考 PaddleNLP repo 相关示例 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo 自行编写代码。

hong19860320 avatar Jun 17 '24 08:06 hong19860320

  1. 如果是口语理解(Spoken Language Understanding,SLU)任务可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0-tiny/deploy/cpp/infer_demo.cc 或 https://github.com/hong19860320/PaddleLite-generic-demo/blob/55c8f7936e6e1c40231c5c9472c5251891a9ae01/spoken_language_understanding_demo/shell/demo.cc#L344 ,需要注意的是 tokenizer 使用了 PaddleNLP 的 fast_tokenizer 加速库 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/fast_tokenizer 。
  2. 不同任务前、后处理差异都比较大,可以参考 PaddleNLP repo 相关示例 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo 自行编写代码。

感谢!

Piterang avatar Jun 17 '24 08:06 Piterang

您好,如果没有进一步的问题,我先把这个issue关闭了。如果还有问题,您随时可以 Reopen。

iosmers avatar Jan 24 '25 05:01 iosmers