bytepiece
bytepiece copied to clipboard
弱问下训练一个tokenizer的训练目标是什么?
多谢!
同等vocab_size时压缩率最高。