[PRODUCT-223] [Feat] API 응답 시간 개선

[lvalentine6]

🏷️ 상위 작업 (Ticket Number)

PRODUCT-119

🚀 구현 내용

• 평균 API 응답속도를 1초대로 개선합니다.
• 4~5초 걸리는 이미지 업로드 시간을 개선합니다.

📅 마감일

25.08.13

[lvalentine6]

API 응답 지연 문제 관련한 조사 결과 및 개선 방향

• dev 환경에서 여러 테스트를 진행한 결과, 이미지 관련 API뿐 아니라 모든 API에서 간헐적으로 지연이 발생함을 확인했습니다.
• Datadog을 연동하여 며칠간 병목 원인을 파악한 결과, 주요 원인은 다음과 같습니다.

1. 인스턴스 메모리 관련

   • 메모리 스왑 인/아웃
     • 디스크 I/O 블로킹으로 인한 응답 속도 저하

2. 컨테이너 메모리 관련

   • 메타스페이스(Metaspace) 또는 코드 캐시(Code Cache) 포화
     • Full GC 발생으로 인한 STW 발생
   • New Generation 영역 크기 부족
     • 빈번한 Minor GC 발생, 요청 처리 중 GC 실행 시 지연 유발

3. 클래스 로딩 및 초기 컴파일 지연

   • API 최초 호출 시 JIT 웜업 미완료

4. 어플리케이션 코드 레벨

   • TTL(30분) 만료 시 다수 API가 동시에 Presigned URL 재생성 및 저장
     • 동시 블로킹 발생

5. 기타 네트워크 지연

   • S3 업로드 등 외부 네트워크 의존 작업에서 불안정한 지연 발생

• 각 원인이 개별적으로 발생할 수도 있지만, 경우에 따라 복수의 원인이 동시에 작용하는 경우도 있습니다.

• 즉시 적용 예정

  1. t3.small급 이상의 인스턴스로 스케일업
  2. 컨테이너 메모리 하드 리밋 제한 완화
  3. 스왑 메모리 비활성

• 장기적으로 고려할 방안

  1. 초기 기동 후 웜업 메서드 추가
  2. 캐싱 전략 변경
  3. 모든 이미지 관련 로직을 클라이언트로 이관

• 남은 연관 작업 및 일정

  • 8월 13일까지 - dev 환경 먼저 스케일업 후 모니터링, 이후 prod 환경 순차적용
  • 이후 dev 환경 롤백
  • 8월 16일까지 - 여러장의 이미지를 받을수 있도록 어플리케이션 레벨 작업

[lvalentine6]

현재 적용 사항 및 테스트 결과

• 스프링 컨테이너 vCPU 1500, 메모리 1024MB 할당
• Datadog 컨테이너 vCPU 256, 메모리 256MB 할당
• 주요 API 응답시간 개선
  • 유선 연결된 데스크톱: 약 1초대
  • 모바일 디바이스(무선): 2~3초 소요
  • 64KB 정도의 작은 이미지: 200ms 수준
  • 약 4MB 이미지: 1~2초

자세한 분석 결과는 개인 블로그에 첨부

[lvalentine6]

추가 작업 사항

• 이미지 관련 로직을 클라이언트로 전체 이관
• S3 업로드는 클라이언트 처리 후 url이나 key를 서버로 반환
• CDN에서 캐싱된 이미지 다운로드

#132 이슈에서 상기 작업을 진행
처리 완료 후 dev 환경은 t2.micro 인스턴스로 롤백

[github-actions]

🎉 This issue has been resolved in version 1.8.0-develop.1 🎉

The release is available on GitHub release

Your semantic-release bot 📦🚀

[github-actions]

🎉 This issue has been resolved in version 1.8.0 🎉

The release is available on GitHub release

Your semantic-release bot 📦🚀