负样本K=8192 ，怎么选取，有什么讲究吗？

[zyf1040895256]

作者您好，请问您有做过关于对比学习中的K的设置，对模型性能有何影响的实验吗？

[LongguangWang]

Hi @zyf1040895256, 我们这里的取值参考里moco中K的设置。moco中K默认取值为65536，batch size为256，我们的batch size是32，所以将K设置为8192。关于K对性能的影响，我们之前做过一个简单的实验，减小K会造成性能轻微的下降，而进一步增大K基本不会带来性能增益。