CPM-Bee icon indicating copy to clipboard operation
CPM-Bee copied to clipboard

推理报错CUDA:oom & 添加参数--use-bminf --memory-limit 10执行后,报错缺少参数

Open Szt-1 opened this issue 1 year ago • 0 comments

模型:2b的压缩模型 内存16G 显卡:v100 16G 部署后,运行python text_generation.py报错 CUDA:OOM 增加参数--use-bminf --memory-limit 10后执行,报错缺少参数 对bminf的版本是否有要求?具体要求什么版本?

Szt-1 avatar Jul 20 '23 08:07 Szt-1