mmrotate icon indicating copy to clipboard operation
mmrotate copied to clipboard

The performances of Oriented RCNN in this version are not consistent with the official results.

Open JinqingZhengTju opened this issue 1 year ago • 11 comments

Prerequisite

Task

I'm using the official example scripts/configs for the officially supported tasks/models/datasets.

Branch

1.x branch https://github.com/open-mmlab/mmrotate/tree/1.x

Environment

The test results of Oriented RCNN on DOTA1.0 with the trained model using the default setting are not consistent with the official results. Please check the code of Oriented RCNN. 0b4a1f4aa75285177cb32820ad79215

Reproduces the problem - code sample

oriented-rcnn-le90_r50_fpn_1x_dota.py train.py

Reproduces the problem - command or script

oriented-rcnn-le90_r50_fpn_1x_dota.py train.py

Reproduces the problem - error message

The test results of Oriented RCNN on DOTA1.0 with the trained model using the default setting are not consistent with the official results. The differences between them are -0.56 and -1.15. The results of the official and mine are as follows: Official: 328f60377bf9c81a85e943edf4008c8 Mine: 0b4a1f4aa75285177cb32820ad79215

Additional information

No response

JinqingZhengTju avatar Oct 25 '23 14:10 JinqingZhengTju

我也遇到了同样的问题 image

luchaoshi45 avatar Oct 30 '23 09:10 luchaoshi45

上图的MultiScaleFlipAug是0.3版本的配置,但是在1x中没有找到,不知道是不是这个原因。

luchaoshi45 avatar Oct 30 '23 09:10 luchaoshi45

上图的MultiScaleFlipAug是0.3版本的配置,但是在1x中没有找到,不知道是不是这个原因。

应该不是这个原因。我是在1.x版本下复现的实验结果,使用自己训练的模型,测试结果与官方结果差距有点大,目前还没有找到与官方实现不一致的地方。不知道你用0.3版本复现的结果是多少。

JinqingZhengTju avatar Oct 30 '23 09:10 JinqingZhengTju

我也是用的1x,使用自己训练的模型 image 跟官方也有差距

luchaoshi45 avatar Oct 30 '23 09:10 luchaoshi45

我也是用的1x,使用自己训练的模型 image 跟官方也有差距

我对了一下数据增广部分的设置,flip和rotate的参数设置不一致,不知道这个影响是不是大

JinqingZhengTju avatar Oct 30 '23 09:10 JinqingZhengTju

然后使用1x,下载了基于Oriented RCNN的LSKNet_S模型,测试结果差距更大了 image

luchaoshi45 avatar Oct 30 '23 09:10 luchaoshi45

我单尺度结果没问题,你的呢

luchaoshi45 avatar Oct 30 '23 09:10 luchaoshi45

我单尺度结果没问题,你的呢

单尺度差0.56,也不太一致,加WX交流下?

JinqingZhengTju avatar Oct 30 '23 09:10 JinqingZhengTju

请问你们解决了吗,是不是学习率设置的问题

hhui92 avatar Nov 02 '23 06:11 hhui92

我单尺度结果没问题,你的呢

单尺度差0.56,也不太一致,加WX交流下?

请问你们解决问题了吗?加个wx交流一下吗?

Atlantisming avatar Nov 19 '23 08:11 Atlantisming

我单尺度结果没问题,你的呢

单尺度差0.56,也不太一致,加WX交流下?

请问你们解决问题了吗?加个wx交流一下吗?

请问你的问题解决了吗,加vx交流一下?

Iwill-github avatar Feb 04 '24 07:02 Iwill-github