가상 피팅 최적화 서비스: 자세 유사도 분석 및 신체 트래킹 기반
Virtual Try on Optimization Service through Pose Similarity Analysis and Body Tracking
 |
 |
|---|---|
| Jinsoo Park @jinny908 |
Jayoung Kim @jaeyo03 |
| 백엔드 + 인프라 구성 | 프론트엔드 + 포즈 유사도 |
가상 피팅(Virtual Try-on) 이란 사용자가 원하는 옷을 특정 모델에게 가상으로 입혀보는 기술입니다. 본 프로젝트는 사용자의 자세를 BlazePose를 이용해 분석하고, 최적의 자세를 취했을 때 가상 피팅의 품질이 향상됨을 입증하고자 합니다.
- 사용자가 선택한 옷을 더 정확하게 입혀보는 가상 피팅 서비스 제공
- 자세 유사도를 분석하여 최적의 자세를 가이드하고, 사용자의 자세를 실시간으로 평가
- 다양한 체형과 자세에서도 정확한 피팅 결과를 제공할 수 있는 시스템 구축
| Problems | Goals |
|---|---|
 |
 |
- BlazePose를 활용한 정확한 신체 트래킹
- 코사인 유사도 기반으로 자세 유사도 수치화
- 자세 유사도 점수가 0.9 이상일 때 최적 피팅 진행
- 사용자가 최적의 자세를 쉽게 취할 수 있도록 화면에 그리드 표시
- 모바일과 데스크탑 모두에서 원활한 사용 경험을 제공하도록 UI 설계
- 사용자가 의류 선택 및 최적 자세 촬영
- 촬영된 자세의 유사도 평가
- Stable Viton 기반의 고품질 가상 피팅 처리
-
원래는 모든 백엔드 기능을 Spring Boot 기반의 Java 서버로 통합 개발하고자 했으나, Hugging Face의 Gradio API 사용을 위해 Python 기반의 FastAPI 서버를 병행하여 구성
-
Spring Boot는 사용자 인증, CRUD 및 주요 비즈니스 로직 처리 담당
-
FastAPI는 AI 모델 호출 및 이미지 처리 관련 기능 수행 (Gradio API 연동 포함)
| 항목 | 내용 |
|---|---|
| 클라우드 플랫폼 | AWS 기반의 가상 사설 클라우드(VPC) 구조 사용 |
| 도메인 관리 | Gabia와 ACM을 통한 도메인 구매 및 연결 |
| 프론트엔드 | React 기반 SPA 웹앱을 Public Subnet에서 서비스 |
| 백엔드 서버 | Spring Boot (Java): 사용자 데이터 처리, DB 연동, API 제공 FastAPI (Python): Hugging Face Gradio API 연동 및 AI 이미지 처리 |
| DB 및 스토리지 | RDS: 사용자 정보 및 이력 저장용 관계형 데이터베이스 S3: AI 결과 이미지 저장 및 제공 |
| 서브넷 구성 | Public Subnet: Load Balancer, React 앱 배포 Private Subnet: Spring Boot, FastAPI, RDS 등 내부 보안 서비스 운영 |
| 콘텐츠 전송 최적화 | CloudFront를 활용해 정적 콘텐츠를 전 세계에 빠르게 전송 특히 태국 현지 발표를 고려해 지연 시간을 최소화함 |
| Use Case Diagram | Sequence Diagram | Class Diagram |
|---|---|---|
 |
 |
 |
- SSIM (Structural Similarity Index Measure): 1에 가까울수록 원본 이미지와 유사도가 높음
- LPIPS (Learned Perceptual Image Patch Similarity): 0에 가까울수록 원본 이미지와 유사도가 높음
| SSIM & LPIPS | 결과 |
|---|---|
 |
 |
- 한국IT서비스학회 논문 제출 및 발표
- Wrtn Ideathon 대회 참가
- 사용자가 따라할 수 있는 다양한 자세 추가
- 다양한 체형에 대응하는 모델 설정 기능 추가
- 더욱 성능이 뛰어난 가상 피팅 모델 도입 계획
