Add idea t5 project

Open marigoold opened this issue 3 years ago • 2 comments

此PR完成了：为idea创建t5任务

搬运了megatron的dataset，并在其中增加了关于tokenizer添加[BOS]、[EOS]、<extra_id_{i}> for i in range(100)等token的代码

Feb 22 '22 14:02 marigoold

这个能 train 起来吗

可以train的，你那边会遇到问题吗？

Feb 24 '22 02:02 marigoold

这个能 train 起来吗

可以train的，你那边会遇到问题吗？

没有，我只是问一下 :>

Feb 24 '22 02:02 L1aoXingyu