JOHNNY-fans
Results
4
issues of
JOHNNY-fans
预训练数据获取
3
您好，看到论文中提到了数据全开源，请问一下RetroMAE预训练用到的105种语言的语料该如何申请或者下载。
四卡40gH卡，batch开32，开了gradient_checkpointing，query_max_len 512 ，passage_max_len 8192 训着训着会突然OOM，求问稳定的解决方案，（尝试了batch开4，16，32都会炸）
求问大佬的实现版本是否支持torch2，以及最新的transformer版本