UNeXt-pytorch icon indicating copy to clipboard operation
UNeXt-pytorch copied to clipboard

the IOU or DICE results on ISIC2018 dataset in the paper table, use valid dataset or the official test dataset?

Open Cloud-Liu opened this issue 2 years ago • 14 comments

Cloud-Liu avatar Sep 08 '22 10:09 Cloud-Liu

Hi, have you got the answer?

brycekl avatar Feb 23 '23 06:02 brycekl

Hi, have you got the answer?

我觉得应该是用的验证集跑出的结果。他的论文中只写了将2594张图片分成0.8的训练集和0.2的验证集,代码中我也只看到分了训练集和验证集(你可以再详细看下)。所以他的表里的结果也就是验证集的结果指标。没有测试集的事。

Cloud-Liu avatar Feb 23 '23 07:02 Cloud-Liu

我用他的代码,换了个backbone(UNet),最后IOU稳定在82(文章里是74.55),有些奇怪

------------------ 原始邮件 ------------------ 发件人: "jeya-maria-jose/UNeXt-pytorch" @.>; 发送时间: 2023年2月23日(星期四) 下午3:08 @.>; @.@.>; 主题: Re: [jeya-maria-jose/UNeXt-pytorch] the IOU or DICE results on ISIC2018 dataset in the paper table, use valid dataset or the official test dataset? (Issue #24)

Hi, have you got the answer?

我觉得应该是用的验证集跑出的结果。他的论文中只写了将2594张图片分成0.8的训练集和0.2的验证集,代码中我也只看到分了训练集和验证集(你可以再详细看下)。所以他的表里的结果也就是验证集的结果指标。没有测试集的事。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

brycekl avatar Feb 23 '23 07:02 brycekl

你有没有尝试他的代码?

------------------ 原始邮件 ------------------ 发件人: "NiceBoy" @.>; 发送时间: 2023年2月23日(星期四) 下午3:25 @.>;

主题: 回复: [jeya-maria-jose/UNeXt-pytorch] the IOU or DICE results on ISIC2018 dataset in the paper table, use valid dataset or the official test dataset? (Issue #24)

我用他的代码,换了个backbone(UNet),最后IOU稳定在82(文章里是74.55),有些奇怪

------------------ 原始邮件 ------------------ 发件人: "jeya-maria-jose/UNeXt-pytorch" @.>; 发送时间: 2023年2月23日(星期四) 下午3:08 @.>; @.@.>; 主题: Re: [jeya-maria-jose/UNeXt-pytorch] the IOU or DICE results on ISIC2018 dataset in the paper table, use valid dataset or the official test dataset? (Issue #24)

Hi, have you got the answer?

我觉得应该是用的验证集跑出的结果。他的论文中只写了将2594张图片分成0.8的训练集和0.2的验证集,代码中我也只看到分了训练集和验证集(你可以再详细看下)。所以他的表里的结果也就是验证集的结果指标。没有测试集的事。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

brycekl avatar Feb 23 '23 07:02 brycekl

跑了他的代码,能跑到0.9025和0.8290。我用他的代码,换成Unet结构跑到了0.8699和0.7805

Cloud-Liu avatar Feb 23 '23 07:02 Cloud-Liu

你的IOU值怎么那么高,

Cloud-Liu avatar Feb 23 '23 07:02 Cloud-Liu

我再检查一下,谢谢你啦

------------------ 原始邮件 ------------------ 发件人: "jeya-maria-jose/UNeXt-pytorch" @.>; 发送时间: 2023年2月23日(星期四) 下午3:40 @.>; @.@.>; 主题: Re: [jeya-maria-jose/UNeXt-pytorch] the IOU or DICE results on ISIC2018 dataset in the paper table, use valid dataset or the official test dataset? (Issue #24)

你的IOU值怎么那么高,

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

brycekl avatar Feb 23 '23 07:02 brycekl

不客气

Cloud-Liu avatar Feb 23 '23 07:02 Cloud-Liu

想请教一下,我用自己的数据集跑出来 val_dice和val_iou的值都很低,接近0.5的样子,为什么二位的指标那么高呢?我这是哪里出了问题?

Better-77 avatar Feb 25 '23 08:02 Better-77

我设置了随机种子数;设置的UNeXt-L:通道数分别是 32 64 128 256 512;或者你的batchsize增大一下

Cloud-Liu avatar Feb 25 '23 08:02 Cloud-Liu

改变随机种子数也会影响评价指标吗?您说的设置UNeXt-L是改变arch参数吗?

Better-77 avatar Feb 25 '23 09:02 Better-77

我觉得随机种子有点影响, image 是arch里边的通道数。

Cloud-Liu avatar Feb 25 '23 09:02 Cloud-Liu

我看到了论文里的这部分,但是在 arch.py里值看到了定义UNeXt和UNeXt_S,是直接修改定义UNeXt_S代码里的通道数就可以了吗还是需要自己再加一下?感谢回答!

Better-77 avatar Feb 25 '23 13:02 Better-77

我是直接改的

Cloud-Liu avatar Feb 25 '23 13:02 Cloud-Liu