LLMZoo icon indicating copy to clipboard operation
LLMZoo copied to clipboard

Published 20 hours ago • verified publisher icon FreedomIntelligence

一张A100-SXM4-40GB 能够用来finetuning phoenix-inst-chat-7b-int4 吗

Open porridgeshoes opened this issue 1 year ago • 1 comments

我用一张A100-SXM4-40GB尝试finetue时，将batchsize设置成1，但内存还是爆了。 图片 图片 难道单卡A100真的跑不起来吗

porridgeshoes avatar May 15 '23 13:05 porridgeshoes

Hi @porridgeshoes,

单卡目前还跑不起来，需要用更多的一些技巧，可以参考现有的仓库.

Best, Zhihong

zhjohnchan avatar Jun 04 '23 11:06 zhjohnchan