Ziqing Yang
Ziqing Yang
> Hi @airaria ! 借楼请问一下预训练只使用了ZeRO2而没有ZeRO3是出于什么考量呢？谢谢！ 考虑到ZeRO-3可能会更慢，而且用ZeRO-2已经能装得下，所以没尝试ZeRO-3了
> 但是实际应该用不了这么大吧? 没有做过极限测试。但如果你把长度缩短至256，多卡 ZeRO-2 + 24G的显存是可以训练的
> 我现在只有132G显存, 想跑起来看看效果, 不知道参数怎么调整合适?调整block_size的大小为256? 合适的参数还是要靠自己尝试，你可以逐步减小block_size或per_device_train_batch_size，直到能跑起来为止。
> 感谢 @airaria , 调整参数以后, 跑起来了, 但是出现以下错误: [INFO|trainer.py:1769] 2023-05-05 15:40:33,704 >> ***** Running training ***** [INFO|trainer.py:1770] 2023-05-05 15:40:33,704 >> Num examples = 88,636 [INFO|trainer.py:1771] 2023-05-05 15:40:33,704 >> Num Epochs =...
> 打印了一下, 需要: adapter_config.json, 保存lora模型时并没有这个文件呢? 对，这个在保存模型时是没有的，可以参照我们发布的模型的apdater_config.json自己写一个
> 先合并: > python ../Chinese-LLaMA-Alpaca/scripts/merge_llama_with_chinese_lora.py --base_model=llama-7b/ --lora_model=../chinese-llama-plus-lora-7b/,../chinese-alpaca-plus-lora-7b --output_type=huggingface --output_dir=merge_llama > 再做推理: > (base) upchina@upchina:/data/LLM/llama/data$ python inference_hf.py --base_model=merge_llama --interactive > load: merge_llama > Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:07 Vocab of...
这是预训练脚本，所以是使用纯文本文件，而不是alpaca的json格式。 目录下包含一个或多个纯文本文件，以txt结尾，类似这样： ```bash lm_datasets\ 001.txt 002.txt 003.txt ... ```
预训练和精调是分开的。 如果只想在中文上做指令模型，除非觉得Chinese-LLaMA训练还不充分，一般来说不需要预训练了 1. 如果你希望得到的模型还是和alpaca一样，可以响应人类指令，那么必须指令精调。 2. txt文件内容是**纯文本**，一行是一句话或一个段落都可以，不包含任何格式（本身也不是用于做指令精调的），就是普通的文本。
> > 预训练和精调是分开的。 如果只想在中文上做指令模型，除非觉得Chinese-LLaMA训练还不充分，一般来说不需要预训练了 > > > > 1. 如果你希望得到的模型还是和alpaca一样，可以响应人类指令，那么必须指令精调。 > > 2. txt文件内容是**纯文本**，一行是一句话或一个段落都可以，不包含任何格式（本身也不是用于做指令精调的），就是普通的文本。 > > 您太给力了！请问精调部分该如何构建数据集～？我看您文章里面写的是参考[Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca)对照finetune部分代码，文件目录应该是如下： ├── 7B │ ├── checklist.chk │ ├── consolidated.00.pth │ └── params.json ├──...
`原版LLaMA` + `Chinese-LLaMA-Plus-LoRA-7B` = `Chinese-LLaMA-Plus-7B` `Chinese-LLaMA-Plus-7B` + `Chinese-Alpaca-Plus-LoRA-7B` = `Chinese-Alpaca-Plus-7B`