[Observability] Alertmanager 라우팅과 채널별 알림 전달 검증 추가

[Gimini-3]

문제와 결과

Prometheus가 비동기 파이프라인 이상을 감지해도 Alertmanager 연결과 수신 경로가 없어 운영자가 애플리케이션 밖에서 경보를 받을 수 없었습니다. 이 변경으로 Prometheus 경보를 Alertmanager에 전달하고, 기본 설치에서는 Alertmanager UI에만 보관하며, 운영자는 설정 파일을 선택해 조직의 알림 채널을 연결할 수 있습니다.

변경 내용

• Alertmanager v0.33.1 컨테이너와 Prometheus 전달 설정을 추가했습니다.
• cluster, environment, severity, service 기준으로 경보를 그룹화하고 warning/critical 반복 주기를 분리했습니다.
• embedding provider 장애가 발생하면 같은 원인의 retry·queue 경보를 억제하도록 라벨과 inhibition 규칙을 연결했습니다.
• Discord, Slack, Microsoft Teams, Telegram, 이메일, 범용 webhook 예제를 추가하고 모든 인증값을 gitignore된 파일로 읽도록 구성했습니다.
• 운영자가 경보 의미와 확인 순서, 설정 적용과 검증 방법을 따라갈 수 있도록 Alertmanager 가이드와 비동기 파이프라인 런북을 추가했습니다.
• Prometheus·Alertmanager 설정, 규칙 테스트, Compose 렌더링과 실제 firing/grouping/inhibition/resolved 전달을 한 명령으로 검증하는 스크립트와 CI를 추가했습니다.

검증

• ./monitoring/verify.sh --e2e
  • Prometheus 규칙 19개와 규칙 테스트 3개 성공
  • 기본·E2E·채널 예제 6개를 포함한 Alertmanager 설정 8개 검증 성공
  • 기본/monitoring Compose 렌더링 성공
  • 두 backend 인스턴스 경보의 단일 그룹 전달 성공
  • provider 원인 경보에 의한 종속 경보 억제 성공
  • firing 전달 1초, resolved 전달 3초
• Alertmanager 컨테이너 readiness와 API에서 v0.33.1, ui-only receiver, inhibition 규칙 로딩 확인
• 추적되는 secret 경로는 monitoring/alertmanager/secrets/.gitkeep뿐임을 확인

Closes #335

[coderabbitai]

Important

• 🔍 Trigger review

This repository does not receive automatic reviews because it has fewer than 10 stars.

⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: CHILL

Plan: Advanced

Run ID: 1a2ea49a-4d4e-460e-beff-61abfafdef76

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands.}

[Copilot]

Copilot was unable to review this pull request because the user who requested the review has reached their quota limit.