[PRODUCT-279] [Chore] SLI, SLO 지표 설정 및 모니터링 알람 추가

[lvalentine6]

🏷️ 상위 작업 (Ticket Number)

PRODUCT-119

🚀 구현 내용

• 서비스의 SLI, SLO 전략과 목표를 설정합니다.
• 목표를 기반으로 서비스의 임계값들을 설정하여, 문제 발생시 알람을 보냅니다.

📅 마감일

25.09.26

[lvalentine6]

작업 완료

PRODUCT-279 태스크에 따라 서비스의 SLI/SLO 지표 설정 및 모니터링 알람 추가 작업을 완료했습니다.

연관 링크

SLO 대시보드

📝 설정 내용

1. 서비스 수준 목표 (SLO)
서비스 초기 안정성을 고려하여 다음과 같이 목표를 설정했습니다.

• 가용성 (Availability): 30일 기준 99%
• 응답 속도 (Latency): 주요 API 요청의 99%가 500ms 이내에 처리

2. 모니터링 및 알람 (Alerts on DataDog)
설정된 SLO를 기반으로 다음과 같은 알람을 구성했으며, 문제 발생 시 Discord 채널로 알림이 전송됩니다.

• 에러 버젯 소진 알람: 에러 버젯 소진 속도가 1시간 기준 목표치의 14.4배를 초과할 경우 경고 발생
• 인프라 자원 사용량 알람:
  • CPU: 5분 평균 사용량 70% 초과 시 '주의', 90% 초과 시 '경고'
  • Memory: 5분 평균 사용량 70% 초과 시 '주의', 90% 초과 시 '경고'
• 알림 채널: Discord #datadog-alert

📝 현재상태

• 최근 30일 가용성 [99.791%]
• 최근 30일 p95 < 500ms [99.91%]

정상 동작을 확인했으며, 이슈를 완료합니다.