Shiyue Xu

> Hi @AIR-hl ! You cannot perform pure fp16 training as it is not supported by pytorch. In order to do mixed precision fp16 training you should either load the...

> datasets 库是否最新，数据集总量是否达到至少 50 条 `datasets`是最新版的`2.19.1`，数据量在80k+

> max_samples: 10000000 添加后 StopIteration不出现了，但出现了 `ValueError: Target modules {'q_proj', 'v_proj'} not found in the base model. Please check the target modules and try again.`  由`phi-1.5`换为`phi-2`后依然如此，`readme.md`中确实是`q_proj, v_proj`  ---- 还有请问执行训练命令后终端中打印出了一条数据的`input_ids`,...

> 正常 你可能需要升级 phi 模型文件，或者改成 lora_targets: all 十分感谢！麻烦再问您一下升级模型文件是指什么？现在用的是官方的提供的`microsoft/phi-2`和`microsoft/phi-1_5`。真的十分感谢！

> 建议用改 lora_target 的方法 感谢！修改lora_target可行，但接着又会会出现 `ValueError: PhiForCausalLM does not support gradient checkpointing.` `ValueError: PhiForCausalLM does not support Flash Attention 2.0 yet.` 环境都是最新的，我先试试用其他模型吧！大佬注意休息！

> flash_attn: auto gradient_checkpointing: false 想额外提个小问题，我在使用命令行启动训练lora模型时，保存的路径是自定义的，但我使用 webui 的`Chat`时想加载某个 checkpoint 的 adapter时，无法使用自定义路径，因为它会在路径前面默认加上一段路径，只能将保存了各个 checkpoint 的文件夹得路径改成指定的`Gemma/lora`，希望可以调整一下逻辑，去除掉这个默认路径，或者是单纯改为`saves`  

> ### System Info > > peft version: 0.9.0 > > accelerate version: 0.27.2 > > transformers version: 4.37.0 > > trl version: 0.7.12.dev0 > > base model: openai-community/gpt2 >...