[BUG] <【本地加载模型的问题】>

[ypw-lbj]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• [X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

### 【本地加载模型的问题】 AttributeError: module 'transformers_modules.Qwen-VL-Chat-Int4.tokenization_qwen' has no attribute 'QWenTokenizer' 已经试过其它语言模型Qwen-7B等，都是同样的问题。

排查了下问题，发现transformers进行AutoTokenizer时能准确解析到tokenization_qwen.py, 但是里面的QWenTokenizer类，确实无法导入。

我看有类似的解issue，但是没有彻底说明白怎么解决，说更新代码？请问是更新什么代码？ demo代码还是checkpoints里的代码？我核对过应该是没有问题的。

请问这个您有好的解决方法吗

期望行为 | Expected Behavior

No response

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python: 3.8.8
- Transformers: 4.32.0
- PyTorch: 2.0.0
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`): 11.7

备注 | Anything else?

No response

[Yiman-GO]

试试 AutoTokenizer.from_pretrained(Qwen_VL_Chat_dir, local_files_only=True,trust_remote_code=True)

[ypw-lbj]

试试 AutoTokenizer.from_pretrained(Qwen_VL_Chat_dir, local_files_only=True,trust_remote_code=True)

@Yiman-GO 试了 没什么变化。

[1180300419]

@ypw-lbj 请问解决了吗，我也遇到了这个问题