长时间运行推理，导致内存不释放，逐步增长直至占满所有内存空间，导致机器崩溃。

[0xCAFEBABE0]

Ubuntu22 A10机器，进行单个worker 10h的压测，发现内存（64g）被占满。

[Chi8wah]

我是调 api_v2 压测发现显存在逐步增加

[wjddd]

请问有解决方法吗？

[0xCAFEBABE0]

请问有解决方法吗？

更换glibc默认的malloc为tcmalloc，内存可以控制在3g左右

[eesam]

请问有解决方法吗？

更换glibc默认的malloc为tcmalloc，内存可以控制在3g左右

尝试了此方法，内存并没有控制住。但是内存增涨速度比不替换要慢不少

[LvHuaiSheng]

同样的问题 内存一直不施放，请问怎么解决的

[eesam]

同样的问题 内存一直不施放，请问怎么解决的

我目前的方案是：把推理独立出来一个进程，主进程监控推理进程内存占用，当内存占用过高时重启推理进程

[LvHuaiSheng]

同样的问题 内存一直不施放，请问怎么解决的

我目前的方案是：把推理独立出来一个进程，主进程监控推理进程内存占用，当内存占用过高时重启推理进程

我是用的ubuntu22 启动的api服务，经查tcp请求有大量的TIME_WAIT堆积导致内存一直没有被释放，调整了tcp_tw_reuse和tcp_fin_timeout后一上午了没出现内存溢出的情况 内存也趋于稳定状态 上下浮动在0.5G左右

[luchuqi123]

同样的问题 内存一直不施放，请问怎么解决的

我目前的方案是：把推理独立出来一个进程，主进程监控推理进程内存占用，当内存占用过高时重启推理进程

我是用的ubuntu22 启动的api服务，经查tcp请求有大量的TIME_WAIT堆积导致内存一直没有被释放，调整了tcp_tw_reuse和tcp_fin_timeout后一上午了没出现内存溢出的情况 内存也趋于稳定状态 上下浮动在0.5G左右

你好，请问你是怎么调整的

[zuojinxin]

有解决吗，我window系统推理，发现内存占用越来越大，也不会主动释放内存占用