MBZUAI Bactrian-X一种多语言可复制的指令遵循模型

[ziwang-com]

trafficstars

https://github.com/MBZUAI-nlp/Bactrian-X MBZUAI Bactrian-X一种多语言可复制的指令遵循模型

Bactrian-X 数据集包含 52 种语言的 3.4M 对指令和响应。指令是从alpaca-52k和dolly-15k获得的，并翻译成52种语言（52种语言x 67k实例= 3.4M实例）。52种语言的响应是从模型中生成的。gpt-3.5-turbo

Bactrian-X模型是在Bactrian-X数据集上微调（使用低秩自适应/ LoRA）的一系列LLM模型。

【zw-ps】 zero-lora的一个基础要点，就是数据、模型的归一化处理