zhangbo

如何用GPU合并Plus模型

1

### 详细描述问题 python scripts/merge_llama_with_chinese_lora.py --base_model /root/autodl-tmp/models/decapoda-research/llama-7b-hf --lora_model /root/autodl-tmp/models/ziqingyang/chinese-llama-plus-lora-7b,/root/autodl-tmp/models/ziqingyang/chinese-alpaca-plus-lora-7b --output_type huggingface --output_dir ./merged_chinese_alpaca_plus 以上命令执行会占用CPU，有办法使用GPU嘛？ ### 运行截图或日志  ### 必查项目（前三项只保留你要问的） - [x] **基础模型**： Alpaca-Plus - [x] **运行系统**：Linux - [x] **问题分类**：模型转换和合 - [x]...

输出内容后面会一直重复

7

### 详细描述问题 *请尽量具体地描述您遇到的问题，**必要时给出运行命令**。这将有助于我们更快速地定位问题所在。* ### 运行截图或日志 *请提供文本log或者运行截图，以便我们更好地了解问题详情。* 运行命令  运行结果  ### 必查项目（前三项只保留你要问的） - [ ] **基础模型** Alpaca-Plus - [ ] **运行系统** Linux - [ ] **问题分类**：效果问题 - [x] （必选）由于相关依赖频繁更新，请确保按照[Wiki](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki)中的相关步骤执行 -...

响应输出特别慢

6

*提示：将[ ]中填入x，表示打对钩。提问时删除这行。只保留符合的选项。* ### 详细描述问题 在AutoDL的V100环境下运行 但输出特别慢， ### 运行截图或日志 ### 必查项目（前三项只保留你要问的） - [√ ] **基础模型**：LLaMA / Alpaca / LLaMA-Plus / Alpaca-Plus - [ √] **运行系统**： Linux - [√ ] **问题分类**：llama.cpp -...