动态加载Lora和加载Lora与基座merge后的模型是否有区别呢？

[loki1017]

我在测试脚本的时候需要先加载基座模型，然后动态加载不同任务下的Lora模型，经过测试，我发现此方法与我直接加载merge后的模型在实验效果上有些差别，同样的问题我输入了三遍，得到的结果如下： 动态加载： 加载merge后的模型

不知道为什么会出现类似的现象？

[370025263]

是不是temp！=0？ 随机采样导致的？ 如果已经是temp=0,那么细节一些 那就是精度导致 热加载的时候是AB直接算然后加结果；如果是merge可能因为merge过程中参数精度的原因丢失了一些信息。