스카우터 서버 OOME 문의

[redutan]

스카우터 서버 운영 중 갑자기 OOME가 발생해서 문의 드립니다.

힙덤프 분석을 통해서 특정 지역변수에 메모리의 50% 이상 할당되는 이슈를 확인했네요 해당 자료구조가 scouter.utilIntKeyMap$IntKeyMapEntry 이고

내부 값들을 살펴보면, 스카우터 데이터베이스 경로 내 파일들을 참조하고 있습니다.

• /database/20190523/couter/real.hfile
• /database/20190809/counter/real.hfile

특이한 점은 일부 과거 파일은 존재하지 않습니다. 제가 스카우터 설정에서 데이터를 일주일만 남기게 했는데 그 이전 파일 정보가 존재합니다.

database 폴더 하위

[irteam@tcdoomgt-01a902 database]$ ll
합계 32
drwxrwxr-x  4 scouter scouter 4096 2018-09-04 10:44 00000000
drwxrwxr-x 12 scouter scouter 4096 2019-08-28 18:16 20190827
drwxrwxr-x 12 scouter scouter 4096 2019-08-29 00:00 20190828
drwxrwxr-x 12 scouter scouter 4096 2019-08-30 00:00 20190829
drwxrwxr-x 13 scouter scouter 4096 2019-08-30 14:33 20190830
drwxrwxr-x 11 scouter scouter 4096 2019-08-31 06:00 20190831
drwxrwxr-x 11 scouter scouter 4096 2019-09-01 17:31 20190901
drwxrwxr-x 13 scouter scouter 4096 2019-09-02 11:55 20190902
-rw-rw-r--  1 scouter scouter    0 2019-09-02 12:00 lock.dat

참고 스샷(링크) https://nhnent.dooray.com/share/posts/w0idD2EOQSubRe66sYtK5Q

[gunlee01]

두레이에 MAT 스샷까지 올려주셨군요. ^^ 꾸벅~ 대략 어디인지는 알겠습니다. 짐작가는 부분도 있고. :) (기간이 지난 인덱스 해시에 대한 참조가 없어져야 하는데 어딘가에서 세는듯 합니다. ref가 0이 되면 해제를 하는데 0이 안되는 루트가 있을수도..)

하지만 구조가 완전히 변경된 SCOUTER2 서버가 개발중이므로 (분석에 시간이 좀 걸릴듯 하여) 패치는 하지 않을듯 하니 힙메모리 1G로 올리셔서 잘 버텨주심 좋을 것 같아요~

[redutan]

@gunlee01 답변 고맙습니다 :) 그냥 restart 해야겠네요 OTL