Rong YE
> 你好，看了VTM的论文，对这项技术很感兴趣，想试算一下paper的数据集，但是在代码仓里没找到spnlg和wiki的训练（验证）数据集预处理代码。 你好！感谢关注！有关数据集拆分，我最原始的代码找不到了:(，我的构造方法是按照8:1:1的比例来分paired train/valid/test的，大致思路是通过 random.sample(total_sample_num, int(0.8*total_sample_num)) 确定train，剩下给valid和test，valid/test再平分得到的。数据在google drive的那个链接里。
> 您好，我想问一下，当我运行bash ConST/scripts/train_en2x.sh de checkpoint/model_saved时，会报错。train.py: error: argument --max-tokens: invalid typing.Optional[int] value: '1000000'。但是我并没有改动任何代码。期待您的回复 这看起来是个类型错误啊？确保你输入的是数字1000000，不是字符串'1000000'
> 我也出现了这个问题，修改了max-tokens:1000000以后这里就会报错显示是字符串类型 @zsj1117 项目时间有点久了，类型问题的解决... 我只能说 1. 试试 --max-tokens=1000000 ; 2. 直接修改对应代码里的 max_tokens=xxx