tszslovewanpu

关于增量预训练

2

### Describe the Question Please provide a clear and concise description of what the question is. **--bf16 \** --block_size 4096 \ --output_dir /data \ --overwrite_output_dir \ --ddp_timeout 30000 \ --logging_first_step...

关于merge模型的格式问题

2

### Describe the Question Please provide a clear and concise description of what the question is. 感谢分享工作！ SFT训练还没结束时，我选了其中一个保存的checkpoint，使用merge_peft_adapter.py融合llama2-7B和这个lora model，但是最终融合的文件后缀是这样的model-00001-of-00002.safetensors，很奇怪，我想在这个融合模型基础上继续做SFT就不行了，不知道为何。。。

关于llama3的权重转换

1

### Describe the Question Please provide a clear and concise description of what the question is. llama3如何转成huggingface的格式 convert_llama_weights_to_hf.py这个好像不支持 感谢！

Hello and great job! To reproduce the baselines: **Evaluation:** ```bash python scripts/eval.py \ --ref_path \ --gen_path ``` What does the **_reference dataset_** refer to? Here's my understanding: 1. Models are...