AllSpark icon indicating copy to clipboard operation
AllSpark copied to clipboard

用于自己数据集

Open 1334233852 opened this issue 10 months ago • 1 comments

非常感谢你们出色的工作!! 我将mit_b5换掉,用了一个新的backbone运行,参数量19.2M,在VOC 2012 Full(1464)上进行训练,发现miou达到了86%,但是我用我自己数据集训练的时候,发现了一个很奇怪的现象。我用1/2data训练时miou先达到了95.3%,到了64个epoch之后,逐步降低到了55%。这可能是什么原因呢?我在全监督网络segformer训练我自己的模型,miou能达到97%,且细节信息分割地更加完整,但是用你们的模型时细节信息却不是那么完整,我也尝试了别的半监督框架,如ST++,但细节信息都差强人意,请问这个可能是什么原因呢?期待您的回答,谢谢!

1334233852 avatar Apr 24 '24 03:04 1334233852

感谢你对我们工作的关注!关于backbone的问题,我们之前发现使用transformer这种能够更加好提取object全局信息的网络,比起更关注局部信息的CNN网络,在我们的半监督框架中效果更好,具体原因可以参考Ablation Study (Why tailored for transformer-based method?),大致原因是如果模型过度关注局部信息,有可能会在训练过程中将关注于某个物体局部位置的通道错误地用来重建labeled data,这有可能是其中的原因。同样也有可能是私有数据集过拟合的问题,如果您能够提供更多关于您的网络以及数据集的信息,以及training log的话,可能能帮助到分析。

Elliot-QxZhang avatar Apr 25 '24 09:04 Elliot-QxZhang

Stale issue message

github-actions[bot] avatar Jun 25 '24 02:06 github-actions[bot]