JOHNNY-fans

> 您好，预训练部分的数据我们没有做什么额外的处理，且这部分数据量太大，我们不打算开源这部分数据，我们仅仅会开源所有的微调数据。如果您有需要可以参照我们的论文自行下载相应的数据。 好的感谢您的回复，也有看到您在别的issue里回复会有开源经过RetroMAE预训练模型的打算，不知道这个是否有较为明确的时间，我们打算follow您的工作，作为我们的基座，做垂直领域相关的研究。（我们处在基座选择期，调研发现bge m3是比较完备的项目，因此想申请到您的预训练模型）