为任意模型提取 LoRA

[ziwang-com]

trafficstars

https://github.com/huggingface/peft/issues/312 它很简单，使用低秩近似，低秩矩阵分解。

给定模型及其微调，以及目标排名，提取模型权重中每个差异的“最佳”低秩近似值，并导出为 LoRA。

参数可以是常数，也可以是每个矩阵的唯一，例如为

总结一下，给定找到 每个都有行使得规范 最小化。

这绝对很有趣。想知道梯度方法、进化算法或普通的线性代数范数（光谱等）和因式分解是否是解决这个问题的理想选择。

题外话：我想知道从权重到 lora 权重是否会有明确的梯度路径？我在微积分方面不够流利，但假设因式分解可能无法微分。在这种情况下，这可能是另一种操作， 其中不是向后传播梯度，而是可以使用另一个信号从非 lora 权重达到 lora 权重.