imliupu

semantic loss不能很好收敛及训练策略问题

7

您好，十分感谢您的分享及热情的回复。 我主要有2个问题想请教您： ### 一. 对于开源的模型，在我具体使用的过程中，如果不针对自己数据做微调或者运用 **SOC**，效果不太理想。但是我在微调的过程中遇到一个问题，由于目标域数据分布可能与您提供的模型所用源域数据分布差异较大，导致模型在 **train** 模式下 **loss** 很大（**batchnorm**引起），从而失去预训练的效果，于是我尝试在 **eval** 模型下进行微调，可以在目标域数据上取得不错的效果。 尽管在 **eval** 模式下微调可以取得不错的效果，但我还是想用 **train** 训练，找一个适合目标域数据集的均值方差，但是我从头开始或者使用 **train** 模式微调都无法很好地收敛（都无法匹配在 **eval** 上进行微调的效果），**特别是 semantic loss**，要比 **eval** 下微调大很多，论文中有提到将 **mobilenetv2** 在 **Super...** 数据集上预训练，如果猜想没错的话，这一部分是主要决定 **semantic...