pytorch-auto-drive icon indicating copy to clipboard operation
pytorch-auto-drive copied to clipboard

tusimple数据集评估代码某行代码的疑问

Open mmpp406 opened this issue 2 years ago • 3 comments

作者你好,在tools/tusimple_evaluation/lane.py第36行到37行中,有如下代码: if running_time > 200 or len(gt) + 2 < len(pred): return 0., 0., 1. 我在这个地方有疑问,请问为什么running_time大于200或者真实的车道数量加2小于预测的车道数量就直接返回了,并且acc、fp、fn的值返回为0 0 1

mmpp406 avatar Nov 15 '23 08:11 mmpp406

作者你好,在tools/tusimple_evaluation/lane.py第36行到37行中,有如下代码: if running_time > 200 or len(gt) + 2 < len(pred): return 0., 0., 1. 我在这个地方有疑问,请问为什么running_time大于200或者真实的车道数量加2小于预测的车道数量就直接返回了,并且acc、fp、fn的值返回为0 0 1

这个应该是官方评测代码移植的。逻辑是按一开始tusimple比赛标准定的。

voldemortX avatar Nov 15 '23 10:11 voldemortX

了解了,不过关于这一块的逻辑有什么解释吗?因为确实这块看不太明白

mmpp406 avatar Nov 15 '23 12:11 mmpp406

作者你好,在tools/tusimple_evaluation/lane.py第36行到37行中,有如下代码: if running_time > 200 or len(gt) + 2 < len(pred): return 0., 0., 1. 我在这个地方有疑问,请问为什么running_time大于200或者真实的车道数量加2小于预测的车道数量就直接返回了,并且acc、fp、fn的值返回为0 0 1

这个应该是官方评测代码移植的。逻辑是按一开始tusimple比赛标准定的。

我找到原始数据集的解释了:https://github.com/TuSimple/tusimple-benchmark/blob/master/doc/lane_detection/readme.md 大概是因为竞赛中把耗时太长或者输出车道数过多的预测结果视作为无效值

mmpp406 avatar Nov 15 '23 12:11 mmpp406