jiayi comments

Results 3 comments of


                                            jiayi

推理Can't find 'adapter_config.json'

> dataset.save_to_disk(args.save_path) 这个之后会生成adapter_config.json adapter_model.bin 和 checkpoint-xxx文件，中间过程只有 checkpoint-xxx 我运行`tokenize_dataset_rows.py`是得到`dataset_info.json`, `state.json`, `data-00000-of-00001.arrow`三个文件，没有理解你说的`dataset.save_to_disk(args.save_path)`之后生成是什么意思，在tokenization时不应该生成微调相关的配置文件吧 --- 我的解决方案 my solution ``` model = AutoModel.from_pretrained(model_args.model_name_or_path, trust_remote_code=True, load_in_8bit=True, device_map='auto') peft_path = "./output/checkpoint-10000/pytorch_model.bin" peft_config = LoraConfig( task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=True, r=8,...

[BUG/Help] <用自带广告数据P-tuning后，模型原有能力消失>

> 使用LoRA微调方法不会忘记老知识，可以去 https://github.com/THUDM/ChatGLM-6B/blob/main/PROJECT.md 这里看，有很多基于LoRA微调的项目有个用chatglm做医疗问答的[项目](https://github.com/xionghonglin/doctorglm)，作者的[踩坑贴](https://zhuanlan.zhihu.com/p/622649076)提到lora会遗忘已有知识，不过这个项目的微调数据集全是专业对话没有日常对话

[Help] <ptuning时使用了多少条数据获得了较好的效果>

> > 如何解决遗忘问题？ > > 我用ptuning标准代码训练以后遗忘问题很严重 > > import os import torch from transformers import AutoConfig, AutoModel, AutoTokenizer > > CHECKPOINT_PATH = "output/adgen-chatglm-6b-pt-128-2e-2/checkpoint-3000" > > # 载入Tokenizer > > tokenizer...