ChatGLM-Tuning
ChatGLM-Tuning copied to clipboard
基于ChatGLM-6B + LoRA的Fintune方案
如何在ChatGLM-6B-INT4模型上使用微调模型
我这里准备了1500条alpaca数据,问:你是谁 ,回答:我是XXXXXX 另外有一个新知识 也是1500条数据, 使用lora训练后,新知识 训练几百步后就有效果了,但是想要替换原来6B他里面的内容,已经训练 上万步了,还是替换不到,这是怎么个情况呢。
训练完成后,output中有adapter_config.json 和 adapter_model.bin,如何验证效果。
RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1....
我原本有chatglm的模型,如果我不想重新下载模型,我需要把模型放在哪里?或者我需要修改哪里的代码?
` File "finetune.py", line 128, in main model.gradient_checkpointing_enable()` 这个有问题大家有遇到吗