ChatGLM-Efficient-Tuning

ChatGLM-Efficient-Tuning copied to clipboard

我就是推荐配置，官方训练脚本24G绝对超显存。

ArtificialZeng

各位大佬问下哈，在chatglm-6m上sft微调后，大家的效果怎么样（和chatglm-6b相比）？通用问题和垂直领域效果均有提升吗？我lora微调了多次，效果都不如原始6b

8

sun1092469590

导出模型报错

3

export_model导出模型报错 'ChatGLMTokenizer' object has no attribute 'vocab_file'

ZTurboX

请问单卡4090能否全参数finetuneChatGLM2的模型？

2

Lufffya

class WandbCallback(TrainerCallback): def __init__(self): super().__init__() def on_train_end(self, args: TrainingArguments, state: TrainerState, control: TrainerControl, **kwargs): # 在训练结束时进行初始化 wandb.log({'epoch': 0, 'loss': 0, 'accuracy': 0}) def on_epoch_begin(self, args: TrainingArguments, state: TrainerState, control: TrainerControl,...

njhouse365

微调chatglm2后进行预测出现大量复读现象

10

如图，同等参数微调下的预测结果，上图为chatglm2，下图为chatglm  

CCzzzzzzz

微调的时候如何设置最大的token长度？

7

 微调时，出现了较多的数据重复现象，实际上，我完整的数据还没有完全encode  有一个问题，原文还没有结束，但是却会把原文一段替换给到未结束的部分。 chatglm2的token长度得到了较大的更新，我要如何修改代码，突破长度限制？

Ethan-Chen-plus

tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True) model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True).cuda() model = PeftModel.from_pretrained(model, "weights").half()

dragononly

chatglm V2模型量化为int8后推理速度慢一倍左右，fp16每秒 35字符，int8每秒17字符

2

zzzhaoguziji

ChatGLM2训练需要多大显存

6

使用int4量化lora微调，24G的3090会OOM，想问一下运行起来大概需要多少显存呢 训练的参数如下： ```bash CUDA_VISIBLE_DEVICES=1 python src/train_sft.py \ --model_name_or_path THUDM/chatglm2-6b \ --do_train \ --dataset code_helper \ --finetuning_type lora \ --lora_rank 8 \ --quantization_bit 4 \ --output_dir code_helper \ --per_device_train_batch_size 2 \...

fade-color