pytorch-auto-drive icon indicating copy to clipboard operation
pytorch-auto-drive copied to clipboard

關於tusimple的訓練和測試

Open q36101 opened this issue 1 year ago • 6 comments

我是一位正在研究車道線檢測的學生。我一直對于tusimple數據集有些疑惑,它的train、val、test是有標準的劃分方法嗎?在官網上我沒有看到詳細的說明,只有各數據集的數量。網路上有些人直接從3628個樣本中按照一定比例劃分為訓練、驗證集,有些人則是訓練:3628、測試和驗證:2782。在一些不常見的研究中,甚至直接將樣本按照90%和10%的比例劃分為訓練和測試集。我想請問在進行數據集劃分任務時,一般採用哪種方法比較合適?

q36101 avatar May 15 '23 04:05 q36101

@q36101 tusimple是有普遍接受的train/val/test分配的, 详见 https://github.com/voldemortX/pytorch-auto-drive/blob/master/docs/datasets/TUSIMPLE.md

voldemortX avatar May 15 '23 06:05 voldemortX

我遇到一些問題想請問一下,車道線論文上tusimple有都有94-96%的f1-score,而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%,用val(358)測試有94.2。 我測試f1-score時是使用像素級的計算,用兩張png計算f1-score,而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。 請問您是如何計算f1-score,是用json評估或是png評估?計算時是用test(2782),還是val(358)?

q36101 avatar May 15 '23 09:05 q36101

我遇到一些問題想請問一下,車道線論文上tusimple有都有94-96%的f1-score,而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%,用val(358)測試有94.2。 我測試f1-score時是使用像素級的計算,用兩張png計算f1-score,而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。 請問您是如何計算f1-score,是用json評估或是png評估?計算時是用test(2782),還是val(358)?

我们的repo使用官方的json关键点评测脚本。val和test都支持。

voldemortX avatar May 15 '23 09:05 voldemortX

我知道了,謝謝。

q36101 avatar May 15 '23 09:05 q36101

為甚麼val和test都支持,兩個dataset不是不一樣嗎?

q36101 avatar May 15 '23 10:05 q36101

為甚麼val和test都支持,兩個dataset不是不一樣嗎?

。。。调参用val,评测用test。功能上不是都要支持么

voldemortX avatar May 15 '23 10:05 voldemortX