LoRA训练中的一些问题

[BestMt111]

1. 默认配置中r=32, alpha=16, scaling=0.5，但是一版scaling会设置为2或者1,这里scaling默认为0.5请问是什么考量
2. 按照默认lora参数配置训练完之后，latest和step_2000测试效果存在gap，并且gap挺大的，请问这是为什么呀

[liuxin99]

1. scaling=0.5 是初步实验的时候调参调了一个效果还行的配置，你也可以尝试一下其他配置
2. 当前代码的保存逻辑在某些情况下软链接可能会有问题，目前简化了逻辑，再测试一下呢