원문 GeekNews — 서버 모니터링 분석 가이드 · 글 kciter.so (GeekNews 작성자 kciter1). 원문은 정상·이상 패턴을 애니메이션으로 비교하는 구성이다.
개요
대시보드 설치 가이드는 많아도 그래프를 읽고 진단하는 법은 드물다는 문제의식에서 쓴 글이다. 원칙은 하나다. 구글 SRE의 네 가지 황금 신호(트래픽·지연·에러·포화도)로 지표를 묶고, 증상(지연·에러)을 먼저 확인한 뒤 원인(CPU·메모리·풀)으로 범인을 좁힌다. 알람도 증상에 건다. “CPU 80% 초과”는 새벽에 사람을 깨우고 대개 아무 일도 아니지만, “에러율 초과”는 누군가 실제로 문제를 겪고 있다는 뜻이다.
증상 읽기
- 트래픽: 평소 모양부터 외운다. 수직 하락은 한가해진 게 아니라 요청이 도달하지 못하는 것(LB·DNS·게이트웨이)이다. 트래픽은 분모이기도 해서 에러는 개수가 아니라 비율로 읽는다.
- 지연: 평균은 분포를 지운다. 초당 1,000건이면 매초 10명이 P99를 맞고, 화면 하나가 API를 40번 부르면 사용자 셋 중 하나가 꼬리 지연을 겪는다. 꼬리에 걸리는 사람은 무거운 쿼리를 만드는 헤비 유저, 즉 최우수 고객일 가능성이 높다.
- 에러: 첫 질문은 “몇 퍼센트”가 아니라 “어떤 에러”다. 에러율과 P99가 함께 오르면 느려지며 죽는 중이고, 에러율만 오르면 즉시 실패 중이다. 즉시 실패한 요청이 분포에서 빠져 장애가 심할수록 P99가 좋아 보이는 생존자 편향도 있다.
원인 좁히기
| 지표 | 읽는 법 |
|---|---|
| CPU | 20~30%인데 응답이 폭증하면 계산이 아니라 대기(느린 DB·락·풀 고갈·외부 API). 100% 직선이면 트래픽 동반 여부로 용량 문제와 코드 문제를 가른다. 쿠버네티스 CPU limit 스로틀링은 사용률 그래프에 안 남으니 P99가 튀면 스로틀 지표를 본다. |
| 메모리 | 톱니는 GC의 정상 박동. 누수는 톱니의 바닥이 계단처럼 오르는 것. 발견하면 힙 덤프를 떠 두고 재시작으로 시간을 번다. |
| 스레드·커넥션 풀 | 리틀의 법칙: 동시 요청 = 유입량 × 처리 시간. 트래픽이 그대로여도 DB가 2초로 느려지면 풀이 마르고, 헬스 체크 실패로 연쇄 장애가 난다. 풀을 늘리기 전에 “왜 반납이 느려졌나”를 묻는다. |
| 이벤트 루프(Node.js) | 스레드 사용률 대신 이벤트 루프 지연을 높은 백분위로 본다. 프로세스 8개 평균은 하나가 죽어 가는 걸 숨긴다. |
지표 하나로 안 보이는 것도 있다. 전부 느리면 공유 자원, 특정 API만 느리면 그 코드다. 대기 시간은 사용률에 비례하지 않아 50% 대비 80%에서 4배, 90%에서 9배, 95%에서 19배가 된다. 큐는 상한을 두고 넘치면 429로 거부하는 편이 모두 서서히 죽는 것보다 낫다. 타임아웃은 안쪽 계층을 바깥보다 짧게 잡는다(타임아웃 예산).
세 가지 시간
- 평시: 하루 5분 대시보드를 돌며 평소 모양을 익히고, 지난주 같은 요일 P99를 겹쳐 그린다.
- 배포 직후 30분: 장애의 약 70%가 변경에서 나온다. 배포 마커가 가성비 최고의 개선이다. 워밍업으로 P99가 뛰는 건 정상이니 값이 아니라 방향을 보고, “10분 내 회복 추세 없으면 토론 없이 롤백” 같은 규칙을 미리 합의해 둔다.
- 장애 중: 영향 범위 → 최근 변경 → 복구 순서. 그래프 스무 개를 훑지 말고 가설 하나를 그래프 하나로 검증한다.
- 포스트모템: 첫 흔적·알람·대응 시작·복구 네 시점을 찍어 감지 공백과 대응 속도를 본다. 원인은 한 겹 더 파고, 사람 이름은 적지 않는다.
위키 맥락
사용률이 오를수록 대기가 급격히 늘고 처리량과 지연이 맞바뀐다는 관점은 LLM 서빙의 throughput·지연 교환을 다룬 2026-09-03-ai-frontier-ep112-kv-cache-roofline을 읽을 때도 그대로 쓰인다. 에이전트 세션을 관측하는 대시보드 사례는 2026-04-10-ccmonitor-claude-code-tui-dashboard에 있다.