IncreProtoNet icon indicating copy to clipboard operation
IncreProtoNet copied to clipboard

BERT结果不对应

Open yzhihao opened this issue 4 years ago • 6 comments

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是:

1 shot base | novel | both 80.12 | 60.06| 78.42

5 shot base | novel | both 78.53 | 73.65| 78.11

yzhihao avatar Jan 19 '21 05:01 yzhihao

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是:

1 shot base | novel | both 80.12 | 60.06| 78.42

5 shot base | novel | both 78.53 | 73.65| 78.11

你好,base, novel 与both的识别性能是一个平衡的关系。三个方面的实验结果依赖于第一阶段的base关系的预训练,BERT下会易过拟合。你可以第一阶段预训练是设置早停机制。如设置训练8000step。

betterAndTogether avatar Jan 23 '21 08:01 betterAndTogether

好的,感谢回复!

yzhihao avatar Jan 24 '21 04:01 yzhihao

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是: 1 shot base | novel | both 80.12 | 60.06| 78.42 5 shot base | novel | both 78.53 | 73.65| 78.11

你好,base, novel 与both的识别性能是一个平衡的关系。三个方面的实验结果依赖于第一阶段的base关系的预训练,BERT下会易过拟合。你可以第一阶段预训练是设置早停机制。如设置训练8000step。

您好,在第一阶段设置8000step后,其他参数未变的情况下,bert的5-shot跑不出论文的效果,分类偏向base关系,请问是还有哪里的参数需要调整吗? 我跑出的结果: 5-shot base | novel | both 86.27 | 52.95| 83.45

wooden070 avatar Mar 06 '22 04:03 wooden070

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是: 1 shot base | novel | both 80.12 | 60.06| 78.42 5 shot base | novel | both 78.53 | 73.65| 78.11

你好,base, novel 与both的识别性能是一个平衡的关系。三个方面的实验结果依赖于第一阶段的base关系的预训练,BERT下会易过拟合。你可以第一阶段预训练是设置早停机制。如设置训练8000step。

您好,在第一阶段设置8000step后,其他参数未变的情况下,bert的5-shot跑不出论文的效果,分类偏向base关系,请问是还有哪里的参数需要调整吗? 我跑出的结果: 5-shot base | novel | both 86.27 | 52.95| 83.45

论文提出的是一个基于原型网络,base relation 和 增量加入的novel relation 会共享相同特征空间且其表示会相互影响(这也metric learning的缺点)。其中参数包括:第一阶段训练base prototype的步数和pl_weight、triplet loss中涉及的triplet_num、margin会影响到性能结果;需要平衡兼顾base 与 novel relation之间关系.

betterAndTogether avatar Mar 07 '22 13:03 betterAndTogether

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是: 1 shot base | novel | both 80.12 | 60.06| 78.42 5 shot base | novel | both 78.53 | 73.65| 78.11

你好,base, novel 与both的识别性能是一个平衡的关系。三个方面的实验结果依赖于第一阶段的base关系的预训练,BERT下会易过拟合。你可以第一阶段预训练是设置早停机制。如设置训练8000step。

您好,在第一阶段设置8000step后,其他参数未变的情况下,bert的5-shot跑不出论文的效果,分类偏向base关系,请问是还有哪里的参数需要调整吗? 我跑出的结果: 5-shot base | novel | both 86.27 | 52.95| 83.45

论文提出的是一个基于原型网络,base relation 和 增量加入的novel relation 会共享相同特征空间且其表示会相互影响(这也metric learning的缺点)。其中参数包括:第一阶段训练base prototype的步数和pl_weight、triplet loss中涉及的triplet_num、margin会影响到性能结果;需要平衡兼顾base 与 novel relation之间关系.

感谢回复!再请教一下在bert 5-shot的情景下,这些参数的默认值因如何修改?尝试了第一阶段训练6000/7000/8000step,结果与论证中结果还是有所出入

wooden070 avatar Mar 07 '22 14:03 wooden070

你好,我这边复现的下论文结果,但是发现,BERT的1shot和5shot,跑不出论文的效果,请问是参数不对么,还是其他原因呢?(其他都可以) 我跑的是: 1 shot base | novel | both 80.12 | 60.06| 78.42 5 shot base | novel | both 78.53 | 73.65| 78.11

你好,base, novel 与both的识别性能是一个平衡的关系。三个方面的实验结果依赖于第一阶段的base关系的预训练,BERT下会易过拟合。你可以第一阶段预训练是设置早停机制。如设置训练8000step。

您好,在第一阶段设置8000step后,其他参数未变的情况下,bert的5-shot跑不出论文的效果,分类偏向base关系,请问是还有哪里的参数需要调整吗? 我跑出的结果: 5-shot base | novel | both 86.27 | 52.95| 83.45

你好,请问可以交流一下吗,我也遇到了类似的问题。

icoderzqliu avatar Mar 09 '22 02:03 icoderzqliu