推理显存沾满了后，看到显存自动释放了，且推理还在继续，是怎么做到

[guiniao]

推理显存沾满了后，通过nvidia-smi，看到显存自动释放了，且推理还在继续，就解决了不会因为问题的变多，显存沾满，程序崩了，想问下，moss是怎么处理的，具体怎么做的，有清楚的吗，谢谢