zero-lora
zero-lora copied to clipboard
跟踪: LoRA
https://github.com/ggerganov/llama.cpp/issues/964 以下是 LoRA 的一些未决问题:
基本实现 (https://github.com/ggerganov/llama.cpp/pull/820) 使用 SIMD (AVX, AVX2) 缩短 LoRA 应用时间 (https://github.com/ggerganov/llama.cpp/issues/956) 在基本模型上使用 MMAP 缩短 LoRA 加载时间 量化已应用 LoRA 的 MMAPed float16 基本模型 权重插值(从 1 开始,查看多个)(https://github.com/ggerganov/llama.cpp/issues/905) 将加载的模型导出到二进制文件(在带有LoRA(标志)的CLI中独立;交互式(?))(--export-lorahttps://github.com/ggerganov/llama.cpp/issues/904) 研究为任意模型提取 LoRA(请参阅 https://github.com/huggingface/peft/issues/312)