YanChuan

> @shituo123456 可以确认下x2paddle版本，需要x2paddle >=1.3.6，如果还有问题，我们检查下example > > ```shell > pip list|grep x2paddle > ```  版本满足要求的。但是还是run不起来

> @shituo123456 麻烦提供一下ONNX模型，看起来像是python路径问题 > > 另外，可以描述一下以下两个问题吗： 1、具体业务场景 2、为什么有转到Paddle部署的需求呢？ > > 感谢～ 1、onnx就是官方的yolov5s导出的。我是先进行实验。 2、具体业务场景：要在边缘端进行部署 3、看官方文档 使用paddle作蒸馏和剪枝较为方便，所以尝试。

> 我现在想跑通 “example/auto_compression/image_classification” 这里的例子都失败，明明在前一个目录又数据集下载的地址，在这里又指到ImageNet，ImageNet又没有提供清楚的下载地址，而且国内不好登录这个网站。 > > > 下载MobileNet预测模型 > > wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/MobileNetV1_infer.tar > > tar -xf MobileNetV1_infer.tar > > 下载ImageNet小型数据集 > > wget https://sys-p0.bj.bcebos.com/slim_ci/ILSVRC2012_data_demo.tar.gz > > tar -xf ILSVRC2012_data_demo.tar.gz >...

这是qlora.py的执行代码，怎么改呢，一直做cv，才基础多模态大模型 ```python if __name__ == '__main__': class Model(nn.Module): def __init__(self): super().__init__() self.child = nn.Linear(100, 200) def forward(self, x): return self.child(x) model = Model() torch.save(model.state_dict(), "linear.pt") x = torch.randn(2, 100) out1...

> 我也忘记了，时间太久了，你自己读一下源码吧，也不长 好的，那我先试试

这样改还会报quant_state不能是None，这个quant_state该怎么添加 ```python if __name__ == '__main__': class Model(nn.Module): def __init__(self): super().__init__() self.child = nn.Linear(100, 200) def forward(self, x): return self.child(x) model = Model() torch.save(model.state_dict(), "linear.pt") x = torch.randn(2, 100) out1...

> 需要在gpu上运行才会有quant_state。也就是说你需要`model = model.cuda()`和`x = x.cuda()`。 > > 并且注意model.cuda只能调用一次，不然会出错（这是bitsandbytes的实现，我也控制不了，他们重载了.cuda()函数） 确实只能.cuda()一次，给LoraLinear提前.cuda()就会报维度错误。 调试好了，非常感谢耐心回复

> qlora权重只能在cuda上跑，不能在cpu上跑。这是bitsandbytes的实现，我也控制不了。 那就是如果使用cli_demo.py 执行微调的权重，就不能加--quant 这个参数，加载了就只能用cpu，是这样吗

那如何执行自己finetune后的权重呢

我是2080Ti显卡，11g显存，单卡跑不动模型，直接就oom了