C-3-Framework icon indicating copy to clipboard operation
C-3-Framework copied to clipboard

关于WorldExpo'10数据集的复现问题

Open yxxxxxxxx opened this issue 5 years ago • 6 comments

您好!我最近尝试基于CSRNet复现WorldExpo‘10数据集上的结果,但是尚未复现到原论文的指标。原作者github没有提供相关说明。我在您的github上找到了生成WorldExpo'10数据集标签的方法是在roi区域外进行模糊处理。有几个问题咨询您一下: (1)即使进行了模糊处理,我发现roi区域外的点也会有不清晰的人头点影响,这样做是否对训练产生不利影响? (2)您在该数据集上训练的效果如何?对于这一数据集的训练有什么trick吗?我目前复现的效果较差的原因主要在于这一数据集的密集场景效果较差,稀疏场景正常。 我尝试用您的生成标签方法并且在lr=1e-5的条件下达到最低平均mae11.7,差于CSRNet中mae8.6效果。 非常感谢您的回复!

yxxxxxxxx avatar Jul 12 '19 12:07 yxxxxxxxx

请问你在五个scenes上结果分别是多少?我在scene 4上的MAE结果大概35,主要原因是ROI上边缘的身体会检测成人,但因为头在ROI之外,导致估计值比真实值偏大

hellowangqian avatar Jul 20 '19 12:07 hellowangqian

@hellowangqian 我的scene 4应该没那么大,具体多少忘了,平均是11点多。不过原因确实是密集场景表现不好。

yxxxxxxxx avatar Jul 23 '19 09:07 yxxxxxxxx

@hellowangqian 我的scene 4应该没那么大,具体多少忘了,平均是11点多。不过原因确实是密集场景表现不好。

请问现在有好的解决方法了吗,我用的csrnet源码来跑,平均只有12.7,s4达到了29

BooboNikita avatar Mar 04 '20 06:03 BooboNikita

有人说,选取不同epoch的模型,然后取在不同场景的最优值,才能复现到8.6.这个我就不清楚了。我自己的实验中,都是单一模型在avg上最优这种取法。当然结果离SOTA很远。

gjy3035 avatar Mar 04 '20 07:03 gjy3035

有人说,选取不同epoch的模型,然后取在不同场景的最优值,才能复现到8.6.这个我就不清楚了。我自己的实验中,都是单一模型在avg上最优这种取法。当然结果离SOTA很远。

我也是直接按avg来选取的,复现csrnet的结果就是s1和s5比论文给出的好很多,其他三个scene表现很差,甚至比您列出的Leaderboard里大部分算法要差

BooboNikita avatar Mar 04 '20 07:03 BooboNikita

Hi, how did you get the WorldExpo'10 dataset? I sent an email to Prof. Xie but never got a reply. If possible, could you share the download link for the dataset with me, thank you very much! My email is [email protected].

chenwenhe11 avatar Jun 01 '22 13:06 chenwenhe11