Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

Published 20 hours ago • verified publisher icon ymcui

微调 chinese llama 后输出的模型如何使用？

Open sszyl opened this issue 1 year ago • 2 comments

使用script/run_sft.sh 对 llama-plus微调后输出的模型如何使用？ 尝试合并到 llama-plus 和 使用transformer 加载 报：Can't find 'adapter_config.json'

image

必查项目（前三项只保留你要问的）

  • [ ] 基础模型：LLaMA-Plus
  • [ ] 运行系统：Linux
  • [ ] 问题分类：模型转换和合并 / 模型训练与精调 / 模型推理问题（🤗 transformers）
  • [ ] （必选）由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
  • [ ] （必选）我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
  • [ ] （必选）第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案

sszyl avatar May 24 '23 08:05 sszyl

参考 https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/361

airaria avatar May 24 '23 08:05 airaria

@sszyl 朋友你微调用了多少GPU显存，我24G显存OOM

LiemLin avatar May 24 '23 09:05 LiemLin

@sszyl 朋友你微调用了多少GPU显存，我24G显存OOM

8卡V100 32G*8

sszyl avatar May 25 '23 09:05 sszyl

@sszyl 兄弟你这个解决了吗 image 我微调训练出来的有14G，方便的话加微信LiemLin666探讨一下啊

LiemLin avatar May 30 '23 07:05 LiemLin

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

github-actions[bot] avatar Jun 06 '23 22:06 github-actions[bot]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.

github-actions[bot] avatar Jun 09 '23 22:06 github-actions[bot]

@sszyl 朋友你微调用了多少GPU显存，我24G显存OOM

8卡V100 32G*8

你好，请问一下怎么多卡微调

zzx528 avatar Jun 18 '23 03:06 zzx528