feat: 질문 생성 기능 및 유틸리티 함수 추가

DShomin · DShomin · commit 603878830654 · 2025-04-16T19:01:24.000+09:00
diff --git a/data/questions/0.json b/data/questions/0.json
@@ -0,0 +1,21 @@
+{
+    "questions": [
+        "이 데이터베이스에서 가장 최근에 등록된 고객 정보는 무엇인가요?  ",
+        "특정 날짜 범위 내의 주문 내역을 어떻게 조회하나요?  ",
+        "제품별 판매량을 내림차순으로 정렬하는 SQL 쿼리를 알려주세요.  ",
+        "고객의 이름과 연락처 정보를 한 번에 조회하는 방법은 무엇인가요?  ",
+        "주문 상태가 '배송완료'인 주문 건수는 몇 건인가요?  ",
+        "특정 고객의 구매 이력을 어떻게 분석할 수 있나요?  ",
+        "매출액이 높은 상위 10개 상품을 찾는 SQL 쿼리를 보여주세요.  ",
+        "날짜별 매출 추이를 그래프로 나타내려면 어떤 쿼리를 사용해야 하나요?  ",
+        "재고가 10개 이하인 상품 목록을 조회하는 방법은 무엇인가요?  ",
+        "고객 테이블과 주문 테이블을 조인하는 SQL 쿼리를 알려주세요."
+    ],
+    "questions_md": "- 이 데이터베이스에서 가장 최근에 등록된 고객 정보는 무엇인가요?  \n- 특정 날짜 범위 내의 주문 내역을 어떻게 조회하나요?  \n- 제품별 판매량을 내림차순으로 정렬하는 SQL 쿼리를 알려주세요.  \n- 고객의 이름과 연락처 정보를 한 번에 조회하는 방법은 무엇인가요?  \n- 주문 상태가 '배송완료'인 주문 건수는 몇 건인가요?  \n- 특정 고객의 구매 이력을 어떻게 분석할 수 있나요?  \n- 매출액이 높은 상위 10개 상품을 찾는 SQL 쿼리를 보여주세요.  \n- 날짜별 매출 추이를 그래프로 나타내려면 어떤 쿼리를 사용해야 하나요?  \n- 재고가 10개 이하인 상품 목록을 조회하는 방법은 무엇인가요?  \n- 고객 테이블과 주문 테이블을 조인하는 SQL 쿼리를 알려주세요.",
+    "persona": {
+        "name": "김민수",
+        "department": "영업팀",
+        "role": "영업 관리자",
+        "background": "다양한 고객 데이터를 분석하여 매출 증대를 위한 전략 수립 경험이 풍부함."
+    }
+}
diff --git a/data/questions/1.json b/data/questions/1.json
@@ -0,0 +1,21 @@
+{
+    "questions": [
+        "이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  ",
+        "주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  ",
+        "특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  ",
+        "상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  ",
+        "날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  ",
+        "특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  ",
+        "고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  ",
+        "여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요."
+    ],
+    "questions_md": "- 이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  \n- 고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  \n- 주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  \n- 특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  \n- 상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  \n- 데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  \n- 날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  \n- 특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  \n- 고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  \n- 여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요.",
+    "persona": {
+        "name": "이수진",
+        "department": "인사팀",
+        "role": "인사 담당자",
+        "background": "직원 정보와 인사 기록을 관리하며, 인사 정책에 대한 데이터 기반 의사결정을 수행함."
+    }
+}
diff --git a/data/questions/2.json b/data/questions/2.json
@@ -0,0 +1,21 @@
+{
+    "questions": [
+        "이 데이터베이스에서 가장 최근에 등록된 고객 정보는 무엇인가요?  ",
+        "특정 날짜 범위 내의 주문 내역을 어떻게 조회하나요?  ",
+        "제품별 판매량을 내림차순으로 정렬하는 SQL 쿼리를 알려주세요.  ",
+        "고객의 이름과 연락처 정보를 한 번에 조회하는 방법은 무엇인가요?  ",
+        "주문 상태가 '배송완료'인 주문 건수는 몇 건인가요?  ",
+        "특정 고객의 구매 이력을 어떻게 분석할 수 있나요?  ",
+        "매출액이 높은 상위 10개 상품을 찾는 SQL 쿼리를 보여주세요.  ",
+        "날짜별 매출 추이를 그래프로 나타내려면 어떤 쿼리를 사용해야 하나요?  ",
+        "재고가 10개 이하인 상품 목록을 조회하는 방법은 무엇인가요?  ",
+        "고객 테이블과 주문 테이블을 조인하는 SQL 쿼리를 알려주세요."
+    ],
+    "questions_md": "- 이 데이터베이스에서 가장 최근에 등록된 고객 정보는 무엇인가요?  \n- 특정 날짜 범위 내의 주문 내역을 어떻게 조회하나요?  \n- 제품별 판매량을 내림차순으로 정렬하는 SQL 쿼리를 알려주세요.  \n- 고객의 이름과 연락처 정보를 한 번에 조회하는 방법은 무엇인가요?  \n- 주문 상태가 '배송완료'인 주문 건수는 몇 건인가요?  \n- 특정 고객의 구매 이력을 어떻게 분석할 수 있나요?  \n- 매출액이 높은 상위 10개 상품을 찾는 SQL 쿼리를 보여주세요.  \n- 날짜별 매출 추이를 그래프로 나타내려면 어떤 쿼리를 사용해야 하나요?  \n- 재고가 10개 이하인 상품 목록을 조회하는 방법은 무엇인가요?  \n- 고객 테이블과 주문 테이블을 조인하는 SQL 쿼리를 알려주세요.",
+    "persona": {
+        "name": "박지훈",
+        "department": "마케팅팀",
+        "role": "마케팅 분석가",
+        "background": "시장 트렌드와 고객 행동 데이터를 분석하여 마케팅 캠페인 최적화에 기여함."
+    }
+}
diff --git a/data/questions/3.json b/data/questions/3.json
@@ -0,0 +1,21 @@
+{
+    "questions": [
+        "이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  ",
+        "주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  ",
+        "특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  ",
+        "상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  ",
+        "날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  ",
+        "특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  ",
+        "고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  ",
+        "여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요."
+    ],
+    "questions_md": "- 이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  \n- 고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  \n- 주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  \n- 특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  \n- 상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  \n- 데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  \n- 날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  \n- 특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  \n- 고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  \n- 여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요.",
+    "persona": {
+        "name": "최영희",
+        "department": "재무팀",
+        "role": "재무 분석가",
+        "background": "재무 데이터와 보고서를 분석하여 회사의 재무 상태를 모니터링하고 보고함."
+    }
+}
diff --git a/data/questions/4.json b/data/questions/4.json
@@ -0,0 +1,21 @@
+{
+    "questions": [
+        "이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  ",
+        "주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  ",
+        "특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  ",
+        "상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  ",
+        "데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  ",
+        "날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  ",
+        "특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  ",
+        "고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  ",
+        "여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요."
+    ],
+    "questions_md": "- 이 테이블에서 특정 날짜 이후의 모든 데이터를 조회하는 SQL 쿼리를 어떻게 작성하나요?  \n- 고객 이름과 주문 금액만 선택하는 SQL 문을 만들어 주세요.  \n- 주문 테이블에서 주문 상태가 '완료'인 데이터만 필터링하는 방법은 무엇인가요?  \n- 특정 고객의 주문 내역을 검색하는 SQL 쿼리를 알려 주세요.  \n- 상품별 평균 가격을 계산하는 SQL 쿼리를 어떻게 작성하나요?  \n- 데이터베이스에서 중복된 레코드를 제거하는 SQL 문은 무엇인가요?  \n- 날짜별 주문 건수를 집계하는 SQL 쿼리를 만들어 주세요.  \n- 특정 조건에 맞는 데이터를 업데이트하는 SQL 문을 알려 주세요.  \n- 고객 테이블에서 이메일 주소가 비어 있지 않은 레코드만 선택하는 방법은 무엇인가요?  \n- 여러 테이블을 조인하여 고객 이름과 주문 내역을 함께 조회하는 SQL 쿼리를 작성해 주세요.",
+    "persona": {
+        "name": "장민호",
+        "department": "IT팀",
+        "role": "데이터베이스 관리자",
+        "background": "데이터베이스 설계와 유지보수 경험이 있으며, 데이터의 무결성과 보안을 책임지고 있음."
+    }
+}
diff --git a/evaluation/gen_question.py b/evaluation/gen_question.py
@@ -0,0 +1,72 @@
+from utils import load_persona_json, save_question_json
+from langchain_core.prompts import ChatPromptTemplate
+from langchain_openai.chat_models import ChatOpenAI
+from tqdm import tqdm
+
+from argparse import ArgumentParser
+import os
+
+
+def get_persona_prompt(persona):
+    return f"""
+    Name: {persona.name}
+    Department: {persona.department}
+    Role: {persona.role}
+    Background: {persona.background}
+    """
+
+
+def split_question(question):
+    question = question.content
+    # remove -
+    question = question.replace("- ", "")
+    return question.split("\n")
+
+
+def gen_question(persona):
+    llm = llm = ChatOpenAI(model="gpt-4.1-nano", temperature=0)
+    prompt = get_persona_prompt(persona)
+    system_prompt = """당신은 <persona> 에 해당하는 사람이며 Text2SQL 서비스를 사용하고 있다. 궁금한 질문들을 아래 <format> 에 해당하는 형식으로 질문하라 질문은 다양하게 생성하라
+
+<persona>
+{persona_prompt}
+</persona>
+
+<format>
+- 질문 1
+- 질문 2
+- 질문 3
+...
+- 질문 n
+</format>
+"""
+    prompt = ChatPromptTemplate.from_messages(
+        [
+            ("system", system_prompt),
+        ]
+    )
+
+    chain = prompt | llm
+    result = {}
+
+    question = chain.invoke({"persona_prompt": prompt})
+    result["questions"] = split_question(question)
+    result["questions_md"] = question.content
+    result["persona"] = persona
+    return result
+
+
+def main(persona_path, output_dir):
+    personas = load_persona_json(persona_path)
+    for i, persona in tqdm(enumerate(personas.personas)):
+        result = gen_question(persona)
+        file_path = os.path.join(output_dir, f"{i}.json")
+        save_question_json(result, file_path)
+
+
+if __name__ == "__main__":
+    parser = ArgumentParser()
+    parser.add_argument("--persona_path", type=str, default="data/personas.json")
+    parser.add_argument("--output_dir", type=str, default="data/questions")
+    args = parser.parse_args()
+    main(args.persona_path, args.output_dir)
diff --git a/evaluation/utils.py b/evaluation/utils.py
@@ -0,0 +1,55 @@
+import json
+from persona_class import PersonaList
+from glob import glob
+import os
+
+
+def save_persona_json(data, filepath):
+    dir_path = os.path.dirname(filepath)
+    if not os.path.exists(dir_path):
+        os.makedirs(dir_path)
+    with open(filepath, "w", encoding="utf-8") as f:
+        json.dump(data.model_dump(), f, ensure_ascii=False, indent=4)
+
+
+def load_persona_json(filepath):
+    with open(filepath, "r", encoding="utf-8") as f:
+        return PersonaList(**json.load(f))
+
+
+def save_question_json(data, filepath):
+    dir_path = os.path.dirname(filepath)
+    if not os.path.exists(dir_path):
+        os.makedirs(dir_path)
+    data["persona"] = (
+        data["persona"].model_dump()
+        if hasattr(data["persona"], "model_dump")
+        else data["persona"].__dict__
+    )
+    with open(filepath, "w", encoding="utf-8") as f:
+        json.dump(data, f, ensure_ascii=False, indent=4)
+
+
+def load_question_json(dir_path):
+    restult_path = glob(f"{dir_path}/*.json")
+    results = []
+    for path in restult_path:
+        with open(path, "r") as f:
+            results.append(json.load(f))
+    return results
+
+
+def save_answer_json(data, filepath, index):
+    if not os.path.exists(filepath):
+        os.makedirs(filepath)
+    with open(f"{filepath}/eval_result_{index}.json", "w", encoding="utf-8") as f:
+        json.dump(data, f, indent=4, ensure_ascii=False)
+
+
+def pretty_print_persona(persona):
+    return f"""
+    Name: {persona.name}
+    Department: {persona.department}
+    Role: {persona.role}
+    Background: {persona.background}
+    """
