关于预训练的细节

[nuoma]

你好，是否可以详细的说一下预训练的细节？包括但不限于改词表以后的embedding适配过程，语料的token和类型以及不同类型的mix，增量预训练是否使用了lora，以及计算的硬件和大致的卡时...谢谢！