DLPerf icon indicating copy to clipboard operation
DLPerf copied to clipboard

Published 20 hours ago • verified publisher icon Oneflow-Inc

评测报告中没有准确率等指标

Open jiangqn opened this issue 3 years ago • 1 comments

在各深度学习框架的评测报告中，没有resnet50在ImageNet上的准确率，没有BERT在GLUE leaderboard上的分数。在实际应用中，重要的不只是效率还有预测效果。没有报告这些重要模型在重要benchmark上的准确率等指标，别人很难确定使用oneflow框架能不能复现出经典模型的效果。

jiangqn avatar Apr 20 '21 13:04 jiangqn

非常感谢您的关注！

DLPerf着重性能方面的指标，OneFlow-Benchmark仓库里面有准确率方面的指标:

  • resnet50的ImageNet上的准确率请参考这里
  • BERT的几个下游任务的打分请参考这里

ShawnXuan avatar Apr 20 '21 14:04 ShawnXuan