moss_finetuning

moss_finetuning copied to clipboard

pl hf cl ac 分别是指什么？

2

pl hf cl ac 分别是指什么？

gongye19

使用deepspeed时报错 RuntimeError: torch.cat(): expected a non-empty list of Tensors

2

Traceback (most recent call last) ──────────────────────╮ │ /home/lk/moss_finetuning-dev/train.py:107 in │ │ │ │ 104 │ │ num_workers=0 │ │ 105 │ ) │ │ 106 │ │ │ ❱ 107...

tjulh

大佬,训练loss=nan.0 是什么情况?

10


Chenhuaqi6

我用了3张p40的卡爆显存了

tjulh

RuntimeError: expected scalar type Float but found Half

1

作者你好，运行代码时报错，请教一下： 我的训练参数设定如下： config main.py: # 模块配置， 默认启用lora enable_deepspeed = True enable_ptv2 = False enable_lora = True enable_int8 = True # qlora int8 enable_int4 = False # qlora int4 代码报错如下： RuntimeError:...

giantvision