WangZeJun
WangZeJun
你显卡的显存多大 在 2023-12-03 21:58:12，"zxm8601" ***@***.***> 写道： 单卡显存会爆，不好意思，github突然打不开了，在这里回复 阿鹤 ***@***.*** ------------------ 原始邮件 ------------------ 发件人: "zejunwang1/LLMTuner" ***@***.***>; 发送时间: 2023年12月3日(星期天) 晚上9:52 ***@***.***>; ***@***.******@***.***>; 主题: Re: [zejunwang1/LLMTuner] qlora单机多卡微调baichuan2-13b问题 (Issue #6) 你单卡训练正常吗 — Reply to this email directly,...
经过排查，在训练命令中加入： --ddp_find_unused_parameters False 可以进行多卡训练，你试一下 
是的，设置 --ddp_find_unused_parameters False
已经支持 chatglm3-6b-base 基座模型的微调
单卡 V100 可以全量微调 3B 的模型
先执行 export CUDA_VISIBLE_DEVICES=0 再训练正常吗
使用 torchrun 可以开启多卡训练
在不开启 int8_training 下，你在训练前加上 model.enable_input_require_grads() 试试
能跑起来的话留言告诉我一下
单轮对话指令需要处理成如下格式： ```json { "conversation_id": 4, "category": "Brainstorming", "num_turns": 1, "conversation": [ { "human": "如何制定一个有效的网页设计？", "assistant": "\n\n要制定一个有效的网页设计，需要考虑以下几个方面：\n\n1. 目标受众：确定您的目标受众是谁，这将有助于您决定网站的设计和内容。\n\n2. 清晰的布局：网站的布局应该简单，易于使用和导航。所有元素应该有明确的标识和位置，以便用户快速找到他们需要的信息。\n\n3. 吸引人的视觉效果：网站的设计应该吸引人，使用清晰的图像、颜色和字体。但同时也要确保视觉效果不会影响网站的性能和导航。\n\n4. 有效的内容：网站的内容应该有价值，易于理解和使用。使用简单的语言和段落，避免使用过于复杂的术语和语言。\n\n5. 可访问性：网站应该易于访问，即使是对于有视觉或听力障碍的用户。确保网站符合标准的可访问性要求。\n\n6. 响应式设计：网站应该是响应式的，即适合各种不同尺寸的设备。这将确保用户在不同设备上都能够访问和使用您的网站。\n\n通过考虑这些方面，您可以制定一个有效的网页设计，吸引并留住您的受众，并提高您的网站的成功率。" } ] } ```