zero_nlp
zero_nlp copied to clipboard
yuanzhoulvpi2017
作者你好，改名字只成功了一半
我按照作者的方法加了些改名字的样例重新测试了下。 服务启动后，第一句就问：你是谁，可以成功改名。
但是如果服务启动后，第一句就问：你好，就还是输出清华研发的。 然后我加了“你好”的回答样例，还是没有改名，麻烦作者大大帮忙看下，谢谢！
同求，遇到了类似的问题，直接问名字可以成功，问别的身份相关度低的问题就会出现这种情况。此外，我以为是因为训练次数比较少没能覆盖原来的身份信息，但是训练次数够多时会出现更大的错误，模型会无法回答任何问题。
这点确实是问题：
- 训练过头，就导致把所有的文件都错过了。
- 欠训练，又很容易记不住。
解决办法：
- 找到一个合适的checkpoint，可能就不会出现这个问题。覆盖旧的知识，确实很难。
这点确实是问题：
- 训练过头，就导致把所有的文件都错过了。
- 欠训练，又很容易记不住。
解决办法：
- 找到一个合适的checkpoint，可能就不会出现这个问题。覆盖旧的知识，确实很难。
好的，非常感谢作者大大，我再多尝试几次。再次感谢
这点确实是问题：
- 训练过头，就导致把所有的文件都错过了。
- 欠训练，又很容易记不住。
解决办法：
- 找到一个合适的checkpoint，可能就不会出现这个问题。覆盖旧的知识，确实很难。
好的，非常感谢作者大大，我再多尝试几次。再次感谢
我这边用了临时方案解决了这个问题。 只需要在每个问题前加上prompt就行。prompt可以为： 你现在是xxxxx研发的。
这点确实是问题：
- 训练过头，就导致把所有的文件都错过了。
- 欠训练，又很容易记不住。
解决办法：
- 找到一个合适的checkpoint，可能就不会出现这个问题。覆盖旧的知识，确实很难。
好的，非常感谢作者大大，我再多尝试几次。再次感谢
我这边用了临时方案解决了这个问题。 只需要在每个问题前加上prompt就行。prompt可以为： 你现在是xxxxx研发的。
训练完感觉有点智障啊，遇到不会的问题就会回答自己是谁，很多数据中的问题也无法回答。
model = AutoModel.from_pretrained( "yuanzhoulvpi/chatglm6b-dddd", trust_remote_code=True).half().cuda()
peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, target_modules=['query_key_value',], ) model = get_peft_model(model, peft_config)
在这里加载lora模型，注意修改chekpoint
peft_path = "test004/checkpoint-200/chatglm-lora.pt" model.load_state_dict(torch.load(peft_path), strict=False) model.eval() def format_example(ins, inp=None) -> str: context = f"Instruction: {ins}\n" if inp: context += f"Input: {inp}\n" context += "Answer:" return context
text = format_example(ins="你是谁") print(text) with torch.autocast("cuda"): res, history = model.chat(tokenizer=tokenizer, query=text, max_length=300, top_p=0.8) print(res)
Instruction: 你是谁
Answer: 我是 ChatGLM,是清华大学KEG实验室和智谱AI公司于2023年共同训练的语言模型训练的大型语言模型。我的任务是服务并帮助人类,但我并不是一个真实的人。
那位大哥能帮忙看看吗 根据作者的训练方法 无法改名字
这点确实是问题：
- 训练过头，就导致把所有的文件都错过了。
- 欠训练，又很容易记不住。
解决办法：
- 找到一个合适的checkpoint，可能就不会出现这个问题。覆盖旧的知识，确实很难。
好的，非常感谢作者大大，我再多尝试几次。再次感谢
我这边用了临时方案解决了这个问题。 只需要在每个问题前加上prompt就行。prompt可以为： 你现在是xxxxx研发的。
训练完感觉有点智障啊，遇到不会的问题就会回答自己是谁，很多数据中的问题也无法回答。
智障这个问题有解决了吗？
