LLMTune：消费者GPU上LLM的4位微调

[ziwang-com]

trafficstars

https://github.com/kuleshov-group/llmtune LLMTune：消费者GPU上LLM的4位微调 LLMTune允许在一个消费级GPU上微调LLM（例如，最大的65B LLAMA模型）。

其功能包括：

对多个LLM的模块化支持（目前为LLAMA，OPT） 支持各种消费级 NVidia GPU;65B 美洲驼在一台 A6000 上进行微调 小巧易用的代码库 能够在一个 GPU 上微调较大的 LLM（例如，65B 参数）的一个好处是能够轻松地将数据并行性用于大型模型。

在引擎盖下， LLMTune 在使用 GPTQ 算法压缩的 LLM 上实现 LoRA 算法， 这需要为量化的 LLM 实现向后传递.有关各种 GPU 支持哪些 LLM 的详细信息，请参阅硬件要求。

目标 LLMTune是康奈尔理工大学和康奈尔大学的一个研究项目。其目标是：

为大型语言模型的创意实验提供易于使用的平台 促进LLM对齐，偏差缓解，有效推理和其他主题的研究