FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

推理时，使用gpu运行时cpu内存为什么也会占掉好几个G

Open charliedream1 opened this issue 1 year ago • 2 comments

使用gpu运行时, 权重不是都在GPU上吗，为什么cpu内存也会占掉好几个G？

charliedream1 avatar Apr 29 '24 11:04 charliedream1

推理完的embedding会放到cpu上

staoxiao avatar Apr 30 '24 13:04 staoxiao

在没有推理时，也就是启动后到准备就绪，cpu内存就会有几个G一直被占用着。权重不是都在GPU上，是被什么占用了，pytorch框架？

charliedream1 avatar Apr 30 '24 14:04 charliedream1