zero-lora
zero-lora copied to clipboard
xTuring提供快速、高效和简单的LLM微调
trafficstars
https://github.com/stochasticai/xturing
xTuring提供快速、高效和简单的LLM微调,如LLaMA,GPT-J,Galactica等。通过提供一个易于使用的界面来微调LLM到您自己的数据和应用程序,xTuring使构建,自定义和控制LLM变得简单。整个过程可以在您的计算机内部或私有云中完成,确保数据隐私和安全。 有了你可以,xTuring
从不同来源摄取数据并将其预处理为LLM可以理解的格式 从单个 GPU 扩展到多个 GPU,以便更快地进行微调 利用内存高效方法(即 INT4、LoRA 微调)将硬件成本降低多达 90% 探索不同的微调方法并对其进行基准测试,以找到性能最佳的模型 根据明确定义的指标评估微调模型以进行深入分析