YanChuan

Results 29 comments of YanChuan

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

微调就用的qlora。 保存的权重就是qlora类型是吗？但是我执行cli_demo.py，不加quant直接就OOM了

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

刚执行 python cli_demo.py --from_pretrained xxx 就报错了 [2023-08-03 14:26:06,452] [INFO] [real_accelerator.py:133:get_accelerator] Setting ds_accelerator to cuda (auto detect) ===================================BUG REPORT=================================== Welcome to bitsandbytes. For bug reports, please run python -m bitsandbytes and...

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

需要merge 下qlora权重吗

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

佬，还是直接oom了

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

> 不应该呀，你确定你就是在这张卡上微调的吗……如果是的话显然是可以加载的。 是同一张卡。。 是在这块就报oom了 ![image](https://github.com/THUDM/VisualGLM-6B/assets/64970397/2a388282-1d42-4a78-aa3b-43fd0b2f7ed0)

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

之前确实改了，这次好了。 感谢感谢

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

我刚才测试了下发现这种微调效果很差

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

好的 我再试试

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

parser.add_argument("--prompt_zh", type=str, default="描述这张图片", help='Chinese prompt for the first round') 请问您在执行cli_demo.py时，这个prompt是什么，我训练给的prompt有好几种，这块为什么需要提前输入一种prompt呢

使用cli_demo.py 跑自己finetune的权重，报错 The size of tensor a (12288) must match the size of tensor b (25165824) at non-singleton dimension 0

感谢耐心答复