mango

Results 22 comments of mango

预训练阶段，对书籍的处理有什么要求吗？比如，段落之间需要加\n吗，每条样本必须保持段落的完整吗，还是有截断也行呢？

> ### Reminder > * [x] I have read the README and searched the existing issues. > > ### Reproduction > 有几个问题请教哈： 1 段落之间需要加\n吗 2.如果模型预处理最长能处理4096个token，那么没有样本的长度是不是尽量在4096以内，且稍微小于4096呢 3.一本书处理成多个样本后需不需要shuf打散呢 4.特殊符号，\t ，需要去掉吗 5.有没有想过的资料介绍呢 >...

How can I get ISP model for your degrade model?

@yichuangzhang I have the same problem.Please,have you found the corresponding code?