fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

是否有释放模型的接口？

Open 2111905222 opened this issue 1 year ago • 1 comments

如果在进程里kill掉相关程序，容易导致显卡驱动崩溃，需要硬重启，想问问是什么原因以及是否有释放模型的接口

2111905222 avatar Sep 21 '23 12:09 2111905222

同求，模型在进程中加载一次后，我想要主动释放掉，不知道该怎么操作，模型会一直加载在显存里

hediyuan avatar Oct 09 '23 03:10 hediyuan