Jelly Lee

> 这就对了 此话怎讲？用deepspeed进行全参数微调，出来也是乱码。

> 你好请问你是如何跑通的，你是用官方给的安装环境加上直接运行的推理脚本吗有没有修改什么，想请教下 修改了，官方代码时测试推理的

> 新建一个文件夹，把`pytorch_model.bin`放进去并改名`adapter_model.bin`，并补齐tokenizer相关和config相关文件，使得文件夹内容与我们发布的如Chinese-LLaMA-LoRA-7b一致。大致流程如下： > > ```shell > mkdir lora_model > cp pytorch_model.bin lora_model/adapter_model.bin > cp Chinese-LLaMA-LoRA-7b/adapter_config.json lora_model/ > cp Chinese-LLaMA-LoRA-7b/*token* lora_model/ > ``` > > 其中你需要修改`adapter_config.json`中的LoRA参数，以和你训练时用的参数保持一致。 之后就可以用merge_llama_with_chinese_lora.py合并了 > > 我们之后会在wiki中更新相关流程说明。 @airaria...

@sszyl @kevinuserdd 代码： https://github.com/liguodongiot/llm-action/blob/main/chinese-llama-alpaca/merge_llama_with_chinese_lora.py 教程： [中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调 ](https://zhuanlan.zhihu.com/p/631360711)

when i use pipeline parallel, other error occurred: ``` 2023-02-28 11:24:36,070 ERROR worker.py:400 -- Unhandled error (suppress with 'RAY_IGNORE_UNHANDLED_ERRORS=1'): ray::MeshHostWorker.load_opt_params_worker_func() (pid=12770, ip=10.xx.2.46, repr=) File "/home/guodong.li/code/alpa/examples/opt_finetune/load_params.py", line 147, in load_opt_params_worker_func load_array("decoder.embed_tokens.weight"))...

@zzisbeauty hello，你说的是那个教程里面用到的这个数据集？