PSENet icon indicating copy to clipboard operation
PSENet copied to clipboard

训练达不到论文中的效果

Open Shualite opened this issue 5 years ago • 4 comments

training from scratch(ic 15)80.11% training from MLT pretrained model(ic 15)84.7%左右,比论文和此repo的结果都低一个点。

实验 环境:2080Ti *2 pretrain on MLT, batchsize=10,n_epoch=320,schedule=[100,200], init_LR=1e-3。 预训练模型收敛时在ic15数据集上做测试可得hmean=82~83% finetune on ic15, batchsize=10, n_epoch=400, schedule=[200], init_LR=1e-4

Shualite avatar Jan 17 '20 07:01 Shualite

我直接在2015上训练的,剪枝使模型大小缩小一半,再finetune,hmean都可以达到82多,不过我是在v100上训练的

fxwfzsxyq avatar Apr 23 '20 10:04 fxwfzsxyq

我直接在2015上训练的,剪枝使模型大小缩小一半,再finetune,hmean都可以达到82多,不过我是在v100上训练的


请问您的batchsize是多大。我想有可能是batchnorm的关系,我是batch10在双卡上训练的。

Shualite avatar Apr 29 '20 02:04 Shualite

我是batch 8 在单卡16G上训练的

fxwfzsxyq avatar Apr 29 '20 02:04 fxwfzsxyq

我直接在2015上训练的,剪枝使模型大小缩小一半,再finetune,hmean都可以达到82多,不过我是在v100上训练的

请问您的batchsize是多大。我想有可能是batchnorm的关系,我是batch10在双卡上训练的。

请问您的问题解决了吗,我也发现训练精度不及论文描述

xisi789 avatar Jul 21 '20 07:07 xisi789