wwlaoxi

Results 2 comments of wwlaoxi

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

> > 您可以根据需要修改cli_demo.py。 > > > 哦，我知道了，因为构建模型的时候就放在cuda上了……暂时只能这样改： > > 把cli_demo.py这段代码： > > ```python > > # load model > > model, model_args = AutoModel.from_pretrained( > > args.from_pretrained, > > args=argparse.Namespace(...

加载微调后模型时报错object of type 'QuantState' has no len()

> 'QuantState' has no len() 请问这个问题解决了吗？我用QLora方法跑完官方微调项目，加载模型的时候报了一样的错