LoRA 适配器 #1101 的潜在想法

[ziwang-com]

trafficstars

https://github.com/ggerganov/llama.cpp/discussions/1101 LoRA 适配器 #1101 的潜在想法 马铃薯斯普多夫斯基在“创意”中开始了此对话 LoRA 适配器的潜在想法 #1101 @PotatoSpudowski 马铃薯斯普多夫斯基 last month · 2 评论 · 1 回复 返回页首 讨论选项

马铃薯斯普多夫斯基 last month 嗨， 感谢您的存储库和初始 lora 适配器支持.

我们在fastLLaMa存储库中探索了一些实验。

我们做了什么：

在 convert-lora-to-ggml.py 脚本中缓存了 lora 矩阵乘法结果. 我们不是在运行时执行计算，而是缓存并保存了这些结果， 以便在加载适配器时速度更快。 我们也有参数允许用户使用与此存储库中看到的相同实现。 我们还有一个参数，允许用户在 fp32 或 fp16 模式下缓存 lora 适配器. fp16模式似乎不错，可能会使下游应用受益。 添加了对分离 lora 适配器的支持. 我们在此处添加了对在 llama 中分离适配器的支持.cpp此处。 这些功能是否看起来与此存储库相关？ 如果是，我们很乐意帮助实施这些！

快乐的黑客:)