请教一下如何在加载模型后实时更新lora？

[SandroChen]

Reminder

• [X] I have read the README and searched the existing issues.

Reproduction

假设我有1个pretrain的模型、3个针对不同数据集sft的lora参数，请问我可以在加载模型后，根据场景需求，实时替换lora吗？如果可以这样实现的话，可以节省相当一部分机器资源。

Expected behavior

No response

System Info

No response

Others

No response

[hiyouga]

目前还不支持，以后可能会支持

[dogvane]

我记得在公众号里看到过一篇文章，一个lora算法，推理时先在base模型走一遍，然后再在lora上走一遍，这样就可以适配一个基础模型搭配不同lora业务场景。

[Essence9999]

楼主看一下slora这篇文章，可能对你有启发