MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard
verified publisher icon OpenBMB

[Feature Request]: 如果使用CPU的话，要求的CPU核数和内存大概是多大，运行4B的模型。

Open zaojiahua opened this issue 1 year ago • 1 comments

Feature request / 功能建议

如果使用CPU的话，要求的CPU核数和内存大概是多大，运行4B的模型。

zaojiahua avatar Oct 14 '24 08:10 zaojiahua

你好，这个对cpu的核心数量没什么具体要求，算力高就时间短，否则就时间长。对内存来说，4B的模型至少8G内存才能加载，加上一些上下文占用内存，推荐12g内存。当然如果你使用量化后的模型，对内存的要求会大幅度减少

LDLINGLINGLING avatar Oct 15 '24 02:10 LDLINGLINGLING