显存长期驻留

[Thirty502]

Description of the bug | 错误描述

在使用GPU加速后，显存长时间驻留在显卡上（目前测试有1-2天驻留时间），长时间未进行释放，是否可以指定显卡加速，或定期释放显存？

How to reproduce the bug | 如何复现

在构建的环境中，通过执行demo中的magic_pdf_parse_main.py，实现文档解析，文档（扫描版pdf）正常解析后，显存长期驻留。

Operating system | 操作系统

Linux

Python version | Python 版本

3.11

Software version | 软件版本 (magic-pdf --version)

0.6.x

Device mode | 设备模式

cuda

[myhloli]

是不是改成服务之后一直在后台有进程驻留，任务完成后需要关闭进程以完成显存释放。

[Sensorjang]

同样的问题，显存会在持续推理一段时间后爆满 显存释放相关逻辑可能不够完善

[Thirty502]

是不是改成服务之后一直在后台有进程驻留，任务完成后需要关闭进程以完成显存释放。

目前以magic_pdf_parse_main为基础，构建flask接口服务，请问我要怎样去处理显存释放，并且在多文件解析时，是否能够多线程解析

[Sensorjang]

长时间推理出现显存驻留问题

[Thirty502]

是不是改成服务之后一直在后台有进程驻留，任务完成后需要关闭进程以完成显存释放。

flask服务会长期造成显存驻留吗？调用接口后需要手动释放吗？

[magicyuan876]

https://github.com/magicyuan876/mineru-server
可以用命令行来执行，亲测不会显存驻留

[zhanglifan1022nice]

很经典的flask多线程的原因，好像原因是flask多线程不会主动释放资源，就会导致gpu一直占用。如果改成单线程的话，会在下次调用之前，把上次的资源释放掉。