HanWenbo
HanWenbo
感谢您的回复。进行 gptq 量化需要加载校准数据集，不同的校准数据对量化结果影响大吗？Qwen 使用的校准数据集未来是否有开源的打算？
I have the same problem, who can tell me how to do it? Thank you very much
我是在对话框里报错，你这个咋在外边报错了？
```python model = AutoModel.from_pretrained(pretrained, torch_dtype=torch.float16, trust_remote_code=True).cuda() print('模型加载完毕') print('开始量化') model.quantize(4) print('结束量化') # 模型保存路径 file_path="your path" model.save_pretrained(file_path) ```
你的显卡型号有些不支持导致的，我目前unk出现这个问题
> > 我通过设置流模式返回结果的分隔符为* /n， 去掉一个/n解决了这个问题 > > 请问是在什么地方设置的啊？修改了源代码吗？ 