ssbuild

pip list |grep torch

pip uninstall deep_training pip install -U git+https://github.com/ssbuild/deep_training.git it is bug and fixed , do upgrade can solve.

例子是给了没有模板的结构（为了不限制想象，自行构建模板）。 转换是把alpaca模板 转换成 q a结构 ， 而不是把 q, a 转换模板！

错误提示有误，这个lora 是缺少 adapter_config.json 文件 。

你用的版本应该是在 last_ckpt 目录下， 文件复制到 best_ckpt 目录下就可以了。

1. 冻结 N 层 修改models.py global_num_layers_freeze 2. ptuning v2 4. lora 4. 正常微调 int8 加速，参考readme

good idear , on the way~

一个两个都可以，只是加强下结束符。

看下readme训练节对于ptv2 训练的解释

@Kkkkkiradd @Ikaros-521 1. lora 就修改配置文件的对应的with lora 等参数 2. ptv2 选择配置文件 config/config_ptv2.json 主要 "pre_seq_len": 32, "prefix_projection": false 两个参数