chatglm2_finetuning

chatglm2_finetuning copied to clipboard

请问如何继续训练？

2

如题，我在train.py的pl_model = MyTransformer(**transformer_args)后面尝试加上 from deep_training.nlp.models.petl.lora.petl_model import PetlModel PetlModel.from_pretrained(pl_model.backbone, os.path.join(output_weight_dir, "last")) 报错了。

sukibean163

AssertionError: quantization ptv2 not support

1

我只是修改了constant_map.py最后为train_model_config = train_info_models['chatglm2-6b-32k-int4'] 'chatglm2-6b-32k-int4': { 'model_type': 'chatglm2', 'model_name_or_path': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4', 'config_name': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4/config.json', 'tokenizer_name': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4', }, 相关配置是这样的。 最后报错：AssertionError: quantization ptv2 not support

anerg2046

大家微调后的效果怎么样？我感觉我的测试一点效果都没有...是哪里出现了问题吗？

1

测试过程： 仅修改了 sft_config_lora.py文件的数据路径，数据格式同demo数据格式一致，还有就是修改了batch_size和epoch 微调后生成的文件：    针对140条内部数据测试了10个epoch，最终结果是一点效果都没有... 不知道我的步骤是不是出了什么问题？还是那个配置文件没有修改？

1148330040

大佬，lora多卡训练报错，帮忙看下

3

训练命令如下： CUDA_VISIBLE_DEVICES=0,1 python train.py 报错信息如下： ╭───────────────────── Traceback (most recent call last) ──────────────────────╮ │ /chatglm2-dev/train.py:122 in │ │ │ │ 119 │ ) │ │ 120 │ │ │ 121 │...

fjchung

训练的时候我想使用多卡加载模型，可以吗?

suihuoliuying

 为啥会显存溢出呀

logcy

请问lora最低内存要多少，我使用ptuning可以正常运行，用lora就内存溢出

logcy

请问作者是否意愿实现qlora.

1

请问作者是否意愿实现qlora。

wellcasa

显存问题，2是不是比1的占用大很多

1

我实测下来，发现训练时候 chatglm 2 的显存占用比 1大很多，哥们你也是这个结论吗？

songyingxin

RuntimeError: torch.cat(): expected a non-empty list of Tensors

1

╭───────────────────── Traceback (most recent call last) ──────────────────────╮ │ /home/dev/project/chatglm2_finetuning/train.py:118 in │ │ │ │ 115 │ ) │ │ 116 │ │ │ 117 │ if train_datasets is not None:...

evanweiguohua