스카우터 서버 재기동 시 이슈 사항 문의

[yangmyunggil]

안녕하세요

스카우터 사용 중 서버 재기동 시 이슈 사항이 있어 문의 드립니다.

- 증상 스카우터를 적용하여 서비스 운영 중 ,서버 증설로 인해 agent .host / agent.java를 추가적으로 기존 스카우터서버에 연결하게 되었습니다. 스카우터 서버의 heap이 거의 풀로 사용하고 있어, 힙사이즈를 기존 2048m 에서 4096m 으로 변경하여 재기동하였습니다. 그런데 스카우터 서버 재기동 이후 agent들의 애플리케이션 성능 저하, CPU 사용률 증가 등의 현상들이 발견되었습니다.

너무 많은 agent 연결로 인해 발생한 현상이라 판단하여, 서버 증설로 추가적으로 연결했던 agent.host / agent.java 프로세스를 내렸습니다. 추가적으로 연결했던 agent를 내리자 기존 agent들의 애플리케이션 성능, CPU 사용률이 스카우터 서버 재기동 시점 이전으로 돌아왔습니다.

- 문의 사항

1. agent들이 연결된 상태(WAS 등 프로세스 실행 상태)에서 스카우터 서버를 재기동하게 되면 발생할 수 있는 이슈들이 있을까요? 이전에도 스카우터 서버를 재기동하게 되면 agent 서버의 cpu상승과 networkout량이 늘어났던 경험이 있습니다.

2. 스카우터 서버가 행 또는 지연(네트워크) 발생 시, 에이전트들(애플리케이션 성능, 자원사용량 증가)에 영향을 줄 수 있는지 문의드립니다.

3. 스카우터 서버 스펙에 따라 (core수, 메모리, 네트워크 성능 등등) 수용가능한 agent의 대략적인 갯수등의 가이드가 있는지 문의드립니다.

[gunlee01]

제가 현재까지 사용한 바로는 스카우터 서버 재기동시에 agent의 cpu 사용율이 증가되거나 하는 경우는 없었습니다. 구조적으로도 agent에서는 콜렉터의 상태와 무관하게 udp로 프로파일을 전송하고 무시하도록 처리하고 있어서 서버 기동여부에 따라 달라질 점은 크게 없습니다. 단 agent가 콜렉터와 tcp 연결을 하나 가지게 되는데 이 연결을 통해 heap dump, thread dump 등의 요청을 할 수 있습니다. (scouter client를 통해서. 자동으로 이러한 요청이 들어가지는 않습니다.) 혹시 server plugin 등을 커스터마이징 해서 사용하면서 이러한 처리가 들어가는게 있는지 한번 확인해 보시기 바랍니다.

또한 스카우터 서버의 지연/행과 agent의 성능과는 무관하다고 보시면 됩니다.

스카우터 콜렉터 스펙에 따른 agent의 개수는 따로 말씀드리기는 어렵습니다. 어플리케이션의 성격, tps, 프로파일을 어느정도로 거는지, 옵션을 어떻게 넣는지에 따라 100배 이상이 차이날 수 있습니다.