hashen

请教合并模型merge_llama_with_chinese_lora.py的原理和中文LLaMA训练细节源码

1

你好，阅读了merge_llama_with_chinese_lora可是不太明白translate_state_dict_key背后的原理 以及请教中文LLaMA过程中词表扩充-预训练-指令精调的源代码学习学习，感谢~

[BUG] 多GPU LoRA报错：ssertionError: {'id': 323, 'status': 'NOT_AVAILABLE', 'numel': 0, 'ds_numel': 0, 'shape': (0,), 'ds_shape': (0,), 'requires_grad': True, 'grad_shape': None, 'persist': True, 'active_sub_modules': {7}, 'ds_tensor.shape': torch.Size([0])}

5

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

finetune结果模型只有13M

5

训练日志没有异常信息，但是最终cpm_bee_finetune-delta-best.pt只有13m