albert_zh icon indicating copy to clipboard operation
albert_zh copied to clipboard

Published 20 hours ago • verified publisher icon brightmart

下游分类任务预测时间较长的问题

Open 652994331 opened this issue 5 years ago • 5 comments

您好，在下游做的一个分类任务，　得到了.pb模型，　利用.pb模型搭建tfserving, ,服务的结果：传入一个单句，进行预测，产看预测时间，预测时间达到了200+ ms 之多，　想问问这个是什么原因

652994331 avatar Dec 04 '19 01:12 652994331

什么模型呢？

brightmart avatar Dec 04 '19 02:12 brightmart

tiny Albert

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: brightmart <[email protected]> 发送时间: 2019年12月3日 18:56 收件人: brightmart/albert_zh <[email protected]> 抄送: 652994331 <[email protected]>, Author <[email protected]> 主题: 回复：[brightmart/albert_zh] 下游分类任务预测时间较长的问题 (#81)

652994331 avatar Dec 04 '19 02:12 652994331

那就不是tiny albert的问题了，我感觉是转换的问题或序列长度特别长。

brightmart avatar Dec 04 '19 05:12 brightmart

您好，在下游做的一个分类任务，　得到了.pb模型，　利用.pb模型搭建tfserving, ,服务的结果：传入一个单句，进行预测，产看预测时间，预测时间达到了200+ ms 之多，　想问问这个是什么原因

您好，我也在做下游的分类，请问你转换pb文件的代码可以看下吗

ares5221 avatar Aug 06 '20 00:08 ares5221

那就不是tiny albert的问题了，我感觉是转换的问题或序列长度特别长。

转换时如何保证输入的序列是可变长的，而不是固定的128

lizongyao123 avatar Dec 01 '20 09:12 lizongyao123