Merge pull request #3 from Gachon-Univ-Creative-Code-Innovation/fix/GUC-155-crawling-bug

fix: 크롤링 수정

Author: ChoSunHyun

Dockerfile

@@ -0,0 +1,39 @@
+# Python 3.9 이상 이미지 사용
+FROM python:3.9-slim
+
+# 필수 패키지 설치
+RUN apt-get update && apt-get install -y \
+    chromium \
+    chromium-driver \
+    libgtk-3-0 \
+    libglib2.0-0 \
+    libnss3 \
+    libxss1 \
+    libx11-6 \
+    wget \
+    unzip \
+    curl \
+    --no-install-recommends && \
+    apt-get clean && rm -rf /var/lib/apt/lists/*
+
+
+# 환경 변수 설정
+ENV CHROME_BIN=/usr/bin/chromium
+ENV CHROMEDRIVER_BIN=/usr/lib/chromium/chromedriver
+
+
+# 작업 디렉터리 설정
+WORKDIR /app
+
+# 위치 지정
+ENV PYTHONPATH=/app
+
+# 필요 파일 복사
+COPY . .
+
+# 의존성 설치
+RUN pip install --upgrade pip
+RUN pip install --no-cache-dir -r requirements.txt
+
+# FastAPI 실행
+CMD ["uvicorn", "Main:app", "--host", "0.0.0.0", "--port", "8000"]

Main.py

@@ -0,0 +1,224 @@
+from fastapi import FastAPI
+from fastapi.responses import JSONResponse
+from fastapi.middleware.cors import CORSMiddleware
+from apscheduler.schedulers.background import BackgroundScheduler
+from apscheduler.triggers.cron import CronTrigger
+from src.Crawling.CrawlingToText import GetRoadmapDf
+from src.Utils.RepoToDB import UploadRoadmap
+from src.Utils.RepoToStorage import UploadSvgToStorage
+from pyppeteer import launch
+import datetime
+import asyncio
+import os
+
+app = FastAPI(title="Roadmap Service API")
+df = GetRoadmapDf()
+scheduler = BackgroundScheduler()
+
+
+# 로드맵 재로드를 하는 스케줄러 실행
+def scheduled_job():
+    print(f"[{datetime.datetime.now()}] [스케줄러] 로드맵 재로드 실행")
+    global df
+    df = GetRoadmapDf()
+
+
+@app.on_event("startup")
+def start_scheduler():
+    """매일 새벽 3시 정각에 작업 실행 (서버 시간 기준)"""
+    trigger = CronTrigger(hour=3, minute=0)
+    scheduler.add_job(scheduled_job, trigger)
+    scheduler.start()
+
+
+# CORS 설정 (필요시)
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+
+# health check
+@app.get("/api/roadmap/health-check")
+async def healthCcheck():
+    return {"status": 200, "message": "서버 상태 확인", "data": "working"}
+
+
+# favicon 요청 무시 -> 로드맵 서비스는 favicon을 제공하지 않음
+## favicon.ico는 웹사이트에 접속하면 자동으로 요청하는 파일임
+@app.get("/api/roadmap/favicon.ico")
+def favicon():
+    return {"status": 400, "message": "No favicon"}
+
+
+# 전체 로드맵 리스트 반환
+@app.get("/api/roadmap")
+def ReadAllRoadmaps():
+    """전체 로드맵 리스트 반환"""
+    try:
+        records = df.to_dict("records")
+
+        return {
+            "status": "200",
+            "message": "전체 로드맵 리스트를 성공적으로 불러왔습니다.",
+            "data": records,
+        }
+
+    except Exception as e:
+        return JSONResponse(
+            status_code=500,
+            content={
+                "status": "500",
+                "message": f"로드맵 리스트 조회 실패: {str(e)}",
+                "data": None,
+            },
+        )
+
+
+# 로드맵 데이터를 우리가 보기 위한 코드
+@app.get("/api/roadmap/")
+async def GetRoadmapSvg(urlName: str):
+    """SVG 파일을 실시간으로 생성하여 응답"""
+    roadmapDf = df[df["urlName"] == urlName]
+    if roadmapDf.empty:
+        return JSONResponse(
+            status_code=404,
+            content={
+                "status": "404",
+                "message": f"로드맵을 찾을 수 없습니다: https://roadmap.sh/{urlName}",
+                "data": None,
+            },
+        )
+
+    url = f"https://roadmap.sh/{urlName}"
+
+    try:
+        browser = await launch(
+            headless=True,
+            executablePath="/usr/bin/chromium",  # apt로 설치된 경로
+            args=["--no-sandbox"],
+        )
+        page = await browser.newPage()
+        await page.setViewport({"width": 1980, "height": 1080})
+        await page.goto(url, {"waitUntil": "load", "timeout": 180000})
+
+        svgElement = None
+        for _ in range(60):
+            svgElement = await page.querySelector("#resource-svg-wrap svg")
+            if svgElement:
+                break
+            await asyncio.sleep(1)
+
+        if not svgElement:
+            await browser.close()
+            return JSONResponse(
+                status_code=404,
+                content={
+                    "status": "404",
+                    "message": "SVG 요소를 찾을 수 없습니다.",
+                    "data": None,
+                },
+            )
+        svgHtml = await page.evaluate("(element) => element.outerHTML", svgElement)
+        await browser.close()
+        return {
+            "status": "200",
+            "message": "로드맵 SVG가 생성되었습니다.",
+            "data": svgHtml,
+        }
+
+    except Exception as e:
+        return JSONResponse(
+            status_code=500,
+            content={
+                "status": "500",
+                "message": f"로드맵 SVG 생성 실패: {e}",
+                "data": None,
+            },
+        )
+
+
+@app.post("/api/roadmap/save/")
+async def SaveRoadmapSvg(urlName: str):
+    """SVG파일을 roadmap.sh에서 크롤링하고 Supabase에 저장"""
+    # 로드맵 이름 조회
+    roadmapDf = df[df["urlName"] == urlName]
+    if roadmapDf.empty:
+        return JSONResponse(
+            status_code=404,
+            content={
+                "status": "404",
+                "message": f"로드맵을 찾을 수 없습니다: https://roadmap.sh/{urlName}",
+                "data": None,
+            },
+        )
+    roadmapName = roadmapDf.iloc[0]["roadmapName"]
+    url = f"https://roadmap.sh/{urlName}"
+
+    try:
+        # pyppeteer로 웹 페이지 접근 및 SVG 추출
+        browser = await launch(
+            headless=True,
+            executablePath="/usr/bin/chromium",  # apt로 설치된 경로
+            args=["--no-sandbox"],
+        )
+        page = await browser.newPage()
+        await page.setViewport({"width": 1980, "height": 1080})
+        await page.goto(url, {"waitUntil": "load", "timeout": 180000})
+
+        svgElement = None
+        for _ in range(60):
+            svgElement = await page.querySelector("#resource-svg-wrap svg")
+            if svgElement:
+                break
+            await asyncio.sleep(1)
+
+        if not svgElement:
+            await browser.close()
+            return JSONResponse(
+                status_code=404,
+                content={
+                    "status": "404",
+                    "message": "SVG 요소를 찾을 수 없습니다.",
+                    "data": None,
+                },
+            )
+        svgHtml = await page.evaluate("(element) => element.outerHTML", svgElement)
+        # SVG 파일 로컬 저장
+        fileName = f"{roadmapName}Roadmap.svg"
+        localPath = f"/tmp/{fileName}"
+        with open(localPath, "w", encoding="utf-8") as f:
+            f.write(svgHtml)
+
+        await browser.close()
+
+        # Supabase 스토리지에 SVG 업로드
+        UploadSvgToStorage(filename=fileName, localPath=localPath)
+
+        # Supabase DB에 메타데이터 저장
+        roadmapData = {
+            "urlName": urlName,
+            "svgPath": fileName,
+            "description": roadmapName,
+        }
+        UploadRoadmap(roadmapData)
+
+        # 로컬 파일 삭제
+        os.remove(fileName)
+
+        return {
+            "status": "200",
+            "message": f"로드맵 SVG가 Supabase에 저장되었습니다: {fileName}.",
+            "data": None,
+        }
+    except Exception as e:
+        return JSONResponse(
+            status_code=500,
+            content={
+                "status": "500",
+                "message": f"로드맵 SVG 저장 실패: {e}",
+                "data": None,
+            },
+        )

requirements.txt

@@ -1,42 +1,11 @@
-annotated-types==0.7.0
-anyio==4.9.0
-appdirs==1.4.4
-attrs==25.3.0
-certifi==2025.1.31
-cffi==1.17.1
-cryptography==44.0.2
-dotenv==0.9.9
-exceptiongroup==1.2.2
-fastapi==0.115.12
-h11==0.14.0
-idna==3.10
-importlib_metadata==8.6.1
-jwt==1.3.1
-numpy==2.0.2
-outcome==1.3.0.post0
-pandas==2.2.3
-pycparser==2.22
-pydantic==2.11.3
-pydantic_core==2.33.1
-pyee==11.1.1
+fastapi
+uvicorn[standard]
+pandas
+selenium
+python-dotenv
+supabase
+pyjwt
+webdriver-manager
 pyppeteer==2.0.0
-PySocks==1.7.1
-python-dateutil==2.9.0.post0
-python-dotenv==1.1.0
-pytz==2025.2
-selenium==4.31.0
-six==1.17.0
-sniffio==1.3.1
-sortedcontainers==2.4.0
-starlette==0.46.2
-tqdm==4.67.1
-trio==0.29.0
-trio-websocket==0.12.2
-typing-inspection==0.4.0
-typing_extensions==4.13.2
-tzdata==2025.2
-urllib3==1.26.20
-websocket-client==1.8.0
-websockets==10.4
-wsproto==1.2.0
-zipp==3.21.0
+httpx
+apscheduler