通过修剪研究性能提升LLM-Pruner

[ziwang-com]

trafficstars

https://github.com/horseee/LLM-Pruner 为什么选择LLM-Pruner 与任务无关的压缩：压缩的LLM应保留其作为多任务求解器的原始能力。 更少的训练语料库：在这项工作中，我们只使用50k公开可用的样本（羊驼）来训练LLM。 高效压缩：修剪 3 分钟，训练后 3 小时。（你可以让它更长） 自动结构修剪：以最少的人力修剪新的LLM（正在进行中）。 LLM-Pruner：论大型语言模型的结构修剪[论文] 马欣银， 方公凡， 王新潮 新加坡国立大学

arxiv版本将很快发布。