export_llama_to_onnx icon indicating copy to clipboard operation
export_llama_to_onnx copied to clipboard

Published 20 hours ago • verified publisher icon luchangli03

单卡a6000 50g会oom

Open 77281900000 opened this issue 1 year ago • 1 comments

你好，单卡a6000 50g上导出13b baichuan会oom，正常读取显存30g足够了，onnx导出会占用更多显存么，有无解决办法，谢谢

77281900000 avatar Oct 08 '23 01:10 77281900000

你好，单卡a6000 50g上导出13b baichuan会oom，正常读取显存30g足够了，onnx导出会占用更多显存么，有无解决办法，谢谢

fp16也不行？

luchangli03 avatar Oct 09 '23 07:10 luchangli03