skyfaker

It looks like a problem of xformers, you can try to upgrade it with `pip install --upgrade xformers`

> so what is the xformers version in the final? I tried 0.0.22, 0.0.21, 0.0.16 all facing errors. thanks! 我的是 `xformers==0.0.22.post4`，刚刚测试了是可以的

> 请问这个问题解决了吗？我也遇到了 这个问题是由于加载baichuan2模型的时候没有同时加载baichuan2的generation_config，而transformers初始化的generation_config里面max_new_tokens=None。 解决方法是在加载模型之后指定generation_config，参考： ` model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan2-13B-Base")`