mmpretrain icon indicating copy to clipboard operation
mmpretrain copied to clipboard

Published 20 hours ago • verified publisher icon open-mmlab

自己训练Swin Large模型但精度低于Base

Open zhaojun060708 opened this issue 1 year ago • 3 comments

我想基于自己的数据训练Swin Base和Large模型；目前Large版的TOP1比Base低4个点，分辨率都是224，都是采用ImageNet预训练的权重

配置文件分别用的就是swin-large_16xb64_in1k.py和swin-base_16xb64_in1k.py Batch Size也是相同的64，用了4卡，学习率都是相同的

不知道准确率large比base低的原因可能是什么？

zhaojun060708 avatar Aug 29 '23 08:08 zhaojun060708

有可能是large过拟合了

Leehoowoon avatar Aug 30 '23 13:08 Leehoowoon

有可能是large过拟合了

base的训练曲线 1693443116855

large的训练曲线 1693442830945

不知道有啥参考价值吗

zhaojun060708 avatar Aug 31 '23 00:08 zhaojun060708

可以多测几个指标，单独的accuracy体现的信息太少了

Leehoowoon avatar Sep 03 '23 07:09 Leehoowoon