imjking

图片大小

5

你好， 图片大小有什么限制吗，一定要resize到512吗？ 代码centralied_marks[:, 0:4] -= 300.5含义是什么？

使用lora-alpaca-med进行推理的时候，prompt_template应该选择什么呢, med-template.json还是alpaca_short.json？

4张3080ti跑chatglm2-6b-lora报oom

5

你好，我用4张12g 3080ti想跑chatglm2微调，但是报显存不足; 使用你列的只需14G显存的参数后也不行；使用int8加载模型后在训练时报了oom。 上面都是在模型并行参数开启下跑的。 在关闭模型并行参数时，也会在训练时报oom, 这时候只会用到一张卡。 请问这种情况正常吗，我该如何解决呢？

13B推理问题

4

你好，使用13B推理时该如何指定GPU？（现在有四块3080Ti） 使用7B推理时，按照generate.sh代码可以直接跑起来； 使用13B推理时： 1. 修改generate.sh如下：  修改generate.py如下：  但输入指令时报了如下错误：  2. 修改generate.py如下：   直接报oom错误：  推理13B时该如何解决这种情况啊，如何指定GPU呢？