ldwang
ldwang
先关闭有问题重新打开issue，谢谢
先关闭issue，如有问题重新打开，谢谢
先关闭，如有问题重新打开issue，谢谢
Whether related to https://github.com/state-spaces/mamba?tab=readme-ov-file#troubleshooting.
A100 40G 跑过，bsz=1，maxlen=200。 
先关闭issue，如有问题重新打开，谢谢
先关闭issue。如有问题重新打开或者新建。
1. 预训练会用到 bos，eos，unk，pad，其他暂时没用 2. vocab 设置为 100008，一方面flagai中tokenizer的设计，另一个方面vocab padded到8的倍数训练速度微弱好些； 3. aquile_ generate 可以加上 start_ token。
> > * 预训练会用到 bos，eos，unk，pad，其他暂时没用 > > * vocab 设置为 100008，一方面flagai中tokenizer的设计，另一个方面vocab padded到8的倍数训练速度微弱好些； > > * aquile_ generate 可以加上 start_ token。 > > 请问这里的bos_token是`[CLS]`,id100006;eos_token是``，id100007吗。看上去有点奇怪。unk，pad的id都是0吧。 是的