Ze Han

合并词表报错

3

合并词表时我用了redpajama的tokenizer替换了llama的tokenizer，报错： 请问如何解决这种报错、或者说有什么解决的思路吗

MoE架构支持vllm或者lmdeploy部署吗

### Reminder - [X] I have read the README and searched the existing issues. ### Reproduction 我在readme发现一张图显示4bit qlora 只需要 微调70b只需要48GB显存，我是用了8张T4 bs=1 context len=2k，还是oom。 zero3 + qlora + 4bit + double...

May I ask how the 4.2t token checkpoint was selected as the basemodel of coder. Why isn't the last checkpoint?