fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

模型导出失败，hf上下载的flm模型可以正常在GPU上运行

Open BJFQHSM opened this issue 1 year ago • 1 comments

开启cuda编译后进行模型导出，模型加载完成后进程被kill 模型加载完成后显存占用没上升。 QQ截图20230710124218 hf上下载flm模型运行正常且运行在GPU上。 QQ截图20230710124543

BJFQHSM avatar Jul 10 '23 04:07 BJFQHSM

转模型是在内存上做的，可能是内存爆了

ztxz16 avatar Jul 13 '23 07:07 ztxz16