netty server와 연동시 OOM 발생

[LeeMH]

netty server에 스카우터 연동시 OOM 발생하는 현상이 있어 문의하고자 합니다.

현재 사내 여러 프로젝트에 스카우터를 연동해서 사용중입니다.

그중 특정 프로젝트만 스카우터 연동시 OOM이 발생합니다. netty server이고 사내 비슷한 구조의 다른 netty server에서는 OOM 현상은 발생하지 않습니다. application 문제일거라 생각하고 상당기간 모니터링 했으나 묘한 현상이 있어 문의 드립니다.

우선 증상은 스카우터 연동시 메모리가 지속적으로 증가하고 최종적으로는 OOM이 발생하고 있습니다. OOM 발생시 heap dump 파일입니다. 실제 heap의 내용을 보면 scouter 관련 클래스가 대부분을 차지 합니다.

아래는 jmap으로 히스토그램을 스카우터를 연동한 경우와 연동하지 않은 경우 모니터링한 결과 입니다. 스카우터 연동한 경우 스카우터 연동하지 않은 경우

바쁘시더라도 검토 부탁드립니다.

[LeeMH]

@gunlee01 혹시나 싶어 문제 발생하는 서버를 와탭에 붙여보았습니다. 일주일 정도 지난시점인데 힙메모리 이상현상이나 OOM 문제는 발생하고 있지 않습니다.

[gunlee01]

혹시 agent에 script plugin을 사용하는 부분이 있나요? 힙덤프보면 javassist.ClassPool의 메모리 점유량이 많아 의심이 되기는 합니다. script 오류로 재로드를 계속 시도하거나 하는 경우 발생 가능성이 있습니다.

[LeeMH]

@gunlee01 먼저 신경써서 검토해 주셔서 감사합니다. 별도의 plugin을 사용하고 있지는 않습니다. hook_method_patters에 네티 핸들러와 서블릿 진입점만 넣어놓고 나머지는 모두 디폴트 셋팅으로 사용하고 있습니다.

[LeeMH]

이슈해결하여 종료 합니다.

정확한것은 아닌데, 애플리케이션에 세션을 풀링하는 로직이 있었습니다. 해당 로직이 논리적으로 이상하고, OOM 터지는 부분과도 관련이 있어 보였습니다

해당 로직을 제거한 이후 OOM발생현상 없이 잘 사용하고 있습니다.