Tuo Chen
Tuo Chen
> 您好,感谢您对我们工作的兴趣!我们直接用的moco原文的代码moco-v2 setting下跑的:[https://github.com/facebookresearch/moco。您直接调整memory](https://github.com/facebookresearch/moco%E3%80%82%E6%82%A8%E7%9B%B4%E6%8E%A5%E8%B0%83%E6%95%B4memory) bank size跑就可以。这个我和鑫磊也聊过,他说他那边也是相似的发现,训练时间越长所需的memory bank size实际上就越不需要那么大。 感谢解答,非常有insight的一个结论!以前我还真没有思考过这种可能性。 在infoNCE的理论里,大batch意味着对互信息的估计更加准确。2048的memory bank大小肯定是不足以准确估计128维的连续数据的互信息的。个人认为这也是对比学习的理论基石(互信息)不那么可靠的一个证据。
> I apologize for the delay. I will release the code as soon as possible. Please stay tuned, and thank you for your support and understanding! Hope to release the...
I‘m interested also
我这里也和 @gzqx 一样,且zotero和插件都更新到了zotero7的最新版。 API没有被正确调用,平台是M1 MAC 
> 建议使用:zotero 7 + reference 插件 https://github.com/MuiseDestiny/zotero-reference/releases/tag/0.5.9 在zotero7上还是会卡,插件版本是V2
>关闭自动刷新 设置里最后那个透明度设置为1 都试了,还是卡。zotero打开几小时后,mac的活动监视器显示占用了8G内存...
我也遇到了这个问题
> Thanks for your great works! However, I observe that the training efficiency (including the training speed and memory use) is much lower than that of the plain ViT with...
Dude, you found the point. I'm confused too