공공임대주택 공고 자동 수집 파이프라인

SH(서울주택도시공사) 및 LH(한국토지주택공사) 공공임대주택 공고를 자동으로 크롤링하고, PDF에서 정보를 추출하여 PostgreSQL 데이터베이스에 저장하는 Airflow 기반 파이프라인입니다.

주요 기능

1. 다중 공사 지원

SH 공사: BeautifulSoup 기반 정적 웹 크롤링
LH 공사: Selenium 기반 동적 페이지 크롤링

2. 다양한 파일 형식 처리

PDF 파일 직접 다운로드
Excel 파일을 PDF로 자동 변환 (LibreOffice 활용)
다중 파일 자동 병합

3. AI 기반 정보 추출

Upstage Information Extract API 활용
JSON 스키마 기반 구조화된 데이터 추출
공급 프로젝트, 일정, 자격 요건 등 자동 파싱

4. 자동화된 파이프라인

Apache Airflow 기반 스케줄링
전체 수집 / 증분 수집 모드 지원
중복 데이터 자동 필터링

시스템 아키텍처

┌─────────────────────────────────────────────────────────────────┐
│                        데이터 소스                               │
├─────────────────────────────┬───────────────────────────────────┤
│      SH 공사 홈페이지        │         LH 공사 홈페이지           │
│     (정적 HTML 페이지)       │      (JavaScript 동적 페이지)      │
└──────────────┬──────────────┴───────────────┬───────────────────┘
               │                               │
               ▼                               ▼
┌──────────────────────────┐   ┌──────────────────────────────────┐
│   sh_parsing_with_db.py  │   │      lh_parsing_with_db.py       │
│   ─────────────────────  │   │   ────────────────────────────   │
│   - BeautifulSoup        │   │   - Selenium + ChromeDriver      │
│   - requests             │   │   - 엑셀 다운로드 & 변환          │
│   - PDF 직접 다운로드     │   │   - LibreOffice (soffice)       │
└──────────────┬───────────┘   │   - PDF 병합 (pypdf)             │
               │               └───────────────┬──────────────────┘
               │                               │
               └───────────────┬───────────────┘
                               ▼
               ┌───────────────────────────────┐
               │         PostgreSQL DB          │
               │   ───────────────────────────  │
               │   - announcements (공고)       │
               │   - pdf_files (첨부파일)       │
               │   - program_info (프로그램)    │
               │   - supply_projects (공급)     │
               └───────────────┬───────────────┘
                               │
                               ▼
               ┌───────────────────────────────┐
               │  information_extract_with_db  │
               │   ───────────────────────────  │
               │   - Upstage API 호출          │
               │   - PDF → 구조화 데이터        │
               │   - 정규화된 테이블 저장       │
               └───────────────┬───────────────┘
                               │
                               ▼
               ┌───────────────────────────────┐
               │        Apache Airflow         │
               │   ───────────────────────────  │
               │   - 4개 DAG 관리              │
               │   - 스케줄 자동 실행          │
               │   - 모니터링 & 로깅           │
               └───────────────────────────────┘

기술 스택

구분	기술
워크플로우	Apache Airflow 2.8.0
언어	Python 3.11
데이터베이스	PostgreSQL (원격)
ORM	SQLAlchemy
크롤링 (SH)	BeautifulSoup4, requests
크롤링 (LH)	Selenium, Chromium, ChromeDriver
파일 변환	LibreOffice (soffice)
PDF 처리	pypdf
AI/ML	Upstage Information Extract API
컨테이너	Docker, Docker Compose

지원 공사 및 청약 유형

SH 공사 (서울주택도시공사) - 9개 유형

국민공공임대주택
도시형생활주택
매입임대주택
장기안심주택
장기전세주택
장기전세주택2(미리내집)
전세임대
청년안심주택
행복주택

LH 공사 (한국토지주택공사) - 7개 유형

국민임대
공공임대
영구임대
행복주택
매입임대
매입임대주택
통합공고임대

빠른 시작 (Docker)

1. 필수 요구사항

Docker 20.10 이상
Docker Compose 2.0 이상
원격 PostgreSQL 데이터베이스

2. 환경 설정

# .env 파일 생성
cp .env.example .env

# .env 파일 수정
nano .env

3. Docker Compose로 실행

# 이미지 빌드 및 컨테이너 시작
docker-compose up -d

# 로그 확인
docker-compose logs -f

# 특정 서비스 로그만 확인
docker-compose logs -f airflow-scheduler

4. Airflow 웹 UI 접속

브라우저에서 http://localhost:8081 접속

Username: admin (또는 .env에서 설정한 값)
Password: admin (또는 .env에서 설정한 값)

5. DAG 실행

웹 UI에서 실행:

원하는 DAG 찾기 (예: sh_housing_pipeline_full)
토글 버튼을 켜서 활성화
"Trigger DAG" 버튼 클릭

CLI로 실행:

# SH 전체 수집
docker-compose exec airflow-scheduler airflow dags trigger sh_housing_pipeline_full

# LH 전체 수집
docker-compose exec airflow-scheduler airflow dags trigger lh_housing_pipeline_full

# SH 증분 수집
docker-compose exec airflow-scheduler airflow dags trigger sh_housing_pipeline_incremental

# LH 증분 수집
docker-compose exec airflow-scheduler airflow dags trigger lh_housing_pipeline_incremental

6. 컨테이너 관리

# 컨테이너 중지
docker-compose down

# 컨테이너 재시작
docker-compose restart

# 특정 서비스만 재시작
docker-compose restart airflow-scheduler

환경 설정

.env 파일 예시

# 애플리케이션 데이터베이스 설정 (필수)
DB_HOST=your_remote_db_host
DB_PORT=5432
DB_NAME=housing_db
DB_USER=your_db_user
DB_PASSWORD=your_db_password

# Airflow 메타데이터 데이터베이스 설정 (필수)
AIRFLOW_DB_HOST=your_remote_db_host
AIRFLOW_DB_PORT=5432
AIRFLOW_DB_NAME=airflow
AIRFLOW_DB_USER=your_db_user
AIRFLOW_DB_PASSWORD=your_db_password

# Upstage API 키 (필수)
UPSTAGE_API_KEY=your_upstage_api_key_here

# Docker 설정
AIRFLOW_UID=50000
_AIRFLOW_WWW_USER_USERNAME=admin
_AIRFLOW_WWW_USER_PASSWORD=admin

# 파일 저장 설정
ATTACH_BASE_DIR=attachments
SAVE_JSON_BACKUP=false

# LibreOffice 설정 (LH 크롤링용)
LIBREOFFICE_ENABLED=true
EXCEL_LAYOUT_SAFE_MODE=true

Airflow DAG 가이드

DAG 목록

DAG 이름	대상	실행 방식	스케줄	용도
`sh_housing_pipeline_full`	SH	수동	-	최초 전체 데이터 수집
`sh_housing_pipeline_incremental`	SH	자동	매일 09:00	일일 신규 공고 수집
`lh_housing_pipeline_full`	LH	수동	-	최초 전체 데이터 수집
`lh_housing_pipeline_incremental`	LH	자동	매일 09:30	일일 신규 공고 수집

SH vs LH 파이프라인 비교

항목	SH	LH
크롤링 방식	BeautifulSoup (정적)	Selenium (동적)
파일 형식	PDF	PDF + Excel
엑셀 변환	해당 없음	LibreOffice 변환
실행 시간	빠름	느림 (브라우저 구동)
재시도 횟수	2회	1회

Task 구조

init_database (DB 초기화)
    ↓
crawl_*_data (크롤링 & PDF 다운로드)
    ↓
extract_*_info (정보 추출 & DB 저장)

스케줄 변경

dags/ 폴더의 DAG 파일에서 schedule_interval 수정:

# 매일 오전 9시
schedule_interval='0 9 * * *'

# 매주 월요일 오전 9시
schedule_interval='0 9 * * 1'

# 매주 월/수/금 오전 9시
schedule_interval='0 9 * * 1,3,5'

로컬 개발 환경

Docker 사용을 권장합니다. 로컬 실행 시 추가 설치가 필요합니다.

필수 요구사항

Python 3.8 이상
PostgreSQL 12 이상
Chromium + ChromeDriver (LH 크롤링용)
LibreOffice (LH 엑셀 변환용)

설치 (macOS)

# Python 의존성
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

# Chromium & ChromeDriver
brew install chromium
brew install chromedriver

# LibreOffice
brew install --cask libreoffice

수동 실행

# 데이터베이스 초기화
python database.py

# SH 크롤링
python sh_parsing_with_db.py

# LH 크롤링
python lh_parsing_with_db.py

# 정보 추출
python information_extract_with_db.py

프로젝트 구조

.
├── dags/                           # Airflow DAG 파일
│   ├── sh_housing_pipeline_full.py
│   ├── sh_housing_pipeline_incremental.py
│   ├── lh_housing_pipeline_full.py
│   └── lh_housing_pipeline_incremental.py
├── scripts/                        # 유틸리티 스크립트
│   ├── check_db.py                 # DB 상태 확인
│   ├── check_airflow_db.py         # Airflow DB 확인
│   ├── resets_db.py                # DB 리셋
│   ├── migrate_pdf_to_minio.py     # MinIO 마이그레이션
│   └── test_db_connection.py       # DB 연결 테스트
├── attachments/                    # 다운로드된 파일
│   ├── SH/                         # SH 공사 (청약유형별 폴더)
│   └── LH/                         # LH 공사 (청약유형별 폴더)
├── schema/                         # JSON 스키마
│   └── schema.json
├── logs/                           # Airflow 실행 로그
├── plugins/                        # Airflow 커스텀 플러그인
├── config.py                       # 환경 설정
├── database.py                     # DB 연결 관리
├── models.py                       # SQLAlchemy ORM 모델
├── sh_parsing_with_db.py           # SH 크롤링 모듈
├── lh_parsing_with_db.py           # LH 크롤링 모듈
├── information_extract_with_db.py  # 정보 추출 모듈
├── Dockerfile                      # Docker 이미지 정의
├── docker-compose.yml              # 컨테이너 오케스트레이션
├── requirements.txt                # Python 의존성
└── README.md

Name		Name	Last commit message	Last commit date
Latest commit History 48 Commits
dags		dags
schema		schema
scripts		scripts
.dockerignore		.dockerignore
.env.example		.env.example
.gitignore		.gitignore
Dockerfile		Dockerfile
README.md		README.md
config.py		config.py
database.py		database.py
docker-compose.yml		docker-compose.yml
information_extract_with_db.py		information_extract_with_db.py
lh_parsing_with_db.py		lh_parsing_with_db.py
models.py		models.py
requirements.txt		requirements.txt
sh_parsing_with_db.py		sh_parsing_with_db.py

Upstage-Ambassador-1th-Team1/Data-ETL-PipeLIne

Folders and files

Latest commit

History

Repository files navigation