배치 모니터링
한 줄 정의
배치 모니터링은 배치 실행 성공 여부뿐 아니라 처리 건수, 실패 건수, 지연, 재시도, 누락 여부를 관측하는 것이다.
실무에서 왜 문제 되는가
- 배치 프로세스는 성공했지만 실제 처리 건수가 0건일 수 있다.
- 실패 알림이 없으면 데이터 누락이 늦게 발견된다.
- 실행 시간이 점점 길어지는 문제는 장애 전조일 수 있다.
- 실패 로그만 있고 batch id나 처리 대상 기준이 없으면 원인 추적이 어렵다.
실무 판단 기준
| 지표 | 의미 |
|---|---|
| success/failure count | 실행 결과 |
| processed count | 실제 처리량 |
| failed item count | 부분 실패 |
| duration | 지연과 병목 |
| retry count | 불안정한 의존성 |
| last success time | 누락 감지 |
자주 나는 실수
- 프로세스 exit code만 보고 성공으로 판단한다.
- 처리 건수와 대상 건수를 비교하지 않는다.
- 알림 기준이 너무 낮아 노이즈가 많다.
- batch id 없이 로그를 남긴다.
확인 방법
- batch id로 로그, 메트릭, 처리 결과를 연결할 수 있는지 확인한다.
- 마지막 성공 시각이 기대 주기를 넘으면 알림이 가는지 확인한다.
- 실패 건수와 재시도 횟수가 dashboard에 보이는지 확인한다.
핵심 요약
배치 모니터링은 실행 성공뿐 아니라 처리 결과를 봐야 한다.
처리 건수, 실패 건수, 실행 시간, 마지막 성공 시각은 기본 지표다.
batch id가 있어야 로그와 결과를 연결할 수 있다.
알림은 행동 가능한 기준으로 설정해야 한다.
부분 실패와 누락을 감지할 수 있어야 운영 복구가 가능하다.
꼬리 질문
- 배치 성공 여부를 어떤 지표로 판단할 것인가?
- 프로세스 성공과 업무 성공은 어떻게 다른가?
- 배치 알림은 어떤 기준으로 설정할 것인가?