单样本推理时长统计

[gavinking87]

你好，我统计bert以及不同speed下，准确率、cpu推理和Gpu推理的耗时。现在有一点疑惑，只有当speed为0.8时，总耗时才能小于原来的bert耗时。 请问下我是哪里出错了吗。 统计bert耗时是执行script_eval.sh脚本。参数配置如下：

[gavinking87]

是fastbert 每一层多出来的子分类器的操作导致耗时过长吗？但是原论文中 这一部分的flops相比较transformer 少很多，应该是不会太耗时间的。请楼主百忙中抽看下，谢谢！

[BitVoyage]

请问bert是在什么代码下测试的

[gavinking87]

run_scripts/script_eval.sh