P-tuning-v2

P-tuning-v2 copied to clipboard

还是丢了原有的很多能力

1

 经常丢，感觉LoRA好一些

zky001

This is the modified code for the errors below. Please review it. Thank you. --------------------------------------------------------------- - ModuleNotFoundError: No module named 'transformers.debug_utils' - AttributeError: 'TrainingArguments' object has no attribute 'get_process_log_level' -...

dev-hjJoo

The version of python package "datasets" need higher version

kenchung285

Hi, I've observed that when employing p-tuning v2 for inference with all 0 prefix parameters, it impacts the behavior of the original model. I'm contemplating the feasibility of incorporating a...

JuhaoLiang1997

跟prefix tuning的区别是什么呢？

2

您好，p-tuning v2是将prompt embeddings通过past_key_values加到模型的每一层；看了prefix tuning的代码，也是通过past_key_values加到了模型的每一层。请问一下， p-tuning v2跟prefix tuning的区别在哪里呢？琢磨了好久都没有明白。

yingying123321

P-tuning

Pei-eng

如何加载本地模型

1

操作环境：WIN10+VSCODE 我已经把模型下载到本地文件夹preweight，然后采用如下函数测试，系统报错 config = AutoConfig.from_pretrained(pretrained_model_name_or_path='./preweight/',trust_remote_code=True) Exception has occurred: FileNotFoundError [Errno 2] No such file or directory: "C:\\Users\\Ad'min\\AppData\\Local\\Temp\\tmpwfgqi39a/./preweight/configuration_chatglm.py" File "F:\ChatGLM-6B-main\ptuning\transbert.py", line 12, in config = AutoConfig.from_pretrained(pretrained_model_name_or_path='./preweight/',trust_remote_code=True) # E.g. config (or model)...

px2020zjut

[Help] 如何通过微调提升 text2sql 能力？

2

求助：如何通过微调提升模型的text2sql能力？ 1. 如何给模型注入库表信息、业务知识？ 2. 如何校正模型输出的SQL？ ------------- 当前给出一个建表语句（比如一张用户登录日志表），再问一个问题（比如 当天的DAU是多少）， chatglm会给出错误的sql语句。 比如加了一些无关的字段、sql关键字之间没有空格、用户没有去重等 期望通过微调，提升模型的text2sql能力。 期望注入： 1. 建库建表语句 3. 表字段的关联关系： 比如A.a = B.b 4. 业务知识: 比如投资roi怎么计算 问题： 1. 今天XX的DAU是多少 2. 最近7天XX的roi是多少 输出： select count(distinct...

xiaotianhxf

AttributeError: 'ExponentialTrainer' object has no attribute 'deepspeed'

1

Traceback (most recent call last): File "run.py", line 139, in train(trainer, training_args.resume_from_checkpoint, last_checkpoint) File "run.py", line 26, in train train_result = trainer.train(resume_from_checkpoint=checkpoint) File "/home/***/P-tuning-v2/training/trainer_exp.py", line 369, in train if self.deepspeed:...

Eskartur

从理论上觉得使用CHATGLM+PTUNING来做领域知识问答是可行的。不过我最近做了一些测试，发现我的微调结果不收敛，微调样本产生的效果不佳。不知道是我的方法有问题还是我微调样本太少。 目前我针对数据库服务器CPU使用率过高的一个单一问题，做了差不多1000个训练样本。不过从目前的训练效果来看，依然不是很好。请教一下，这方面有什么技巧吗？我是个新手，请多指教。

xuji755