get_glossary_terms tool 추가, 프롬프트 수정

Author: ehddnr301

interface/app_pages/chatbot.py

@@ -54,20 +54,25 @@ def initialize_session_state():
         or "gpt-4o-mini"
     )
 
+    # DataHub 서버 URL 가져오기 (config에서 로드)
+    config = load_config()
+    gms_server = config.datahub_server
+
     # ChatBot 인스턴스 생성 또는 모델 업데이트
     if "chatbot_instance" not in st.session_state:
         st.session_state.chatbot_instance = ChatBot(
-            openai_api_key, model_name=model_name
+            openai_api_key, model_name=model_name, gms_server=gms_server
         )
     else:
-        # 기존 인스턴스가 있는 경우, 모델이나 API 키가 변경되었는지 확인
+        # 기존 인스턴스가 있는 경우, 모델이나 API 키, gms_server가 변경되었는지 확인
         existing_bot = st.session_state.chatbot_instance
         if (
             existing_bot.model_name != model_name
             or existing_bot.openai_api_key != openai_api_key
+            or existing_bot.gms_server != gms_server
         ):
             st.session_state.chatbot_instance = ChatBot(
-                openai_api_key, model_name=model_name
+                openai_api_key, model_name=model_name, gms_server=gms_server
             )
 
 

utils/llm/chatbot.py

@@ -3,19 +3,35 @@
 OpenAI의 ChatGPT 모델을 사용하여 대화 기록을 유지하는 챗봇 구현
 """
 
+from typing import Annotated, Sequence, TypedDict
+
+from langchain_core.messages import BaseMessage, SystemMessage
 from langchain_openai import ChatOpenAI
-from langchain_core.messages import SystemMessage
 from langgraph.checkpoint.memory import MemorySaver
-from langgraph.graph import START, MessagesState, StateGraph
+from langgraph.graph import START, StateGraph
+from langgraph.graph.message import add_messages
 from langgraph.prebuilt import ToolNode
 
 from utils.llm.tools import (
     get_weather,
     get_famous_opensource,
     search_database_tables,
+    get_glossary_terms,
 )
 
 
+class ChatBotState(TypedDict):
+    """
+    챗봇 상태 - 사용자 질문을 SQL로 변환 가능한 구체적인 질문으로 만들어가는 과정 추적
+    """
+
+    # 기본 메시지 (MessagesState와 동일)
+    messages: Annotated[Sequence[BaseMessage], add_messages]
+
+    # datahub 서버 정보
+    gms_server: str
+
+
 class ChatBot:
     """
     LangGraph를 사용한 대화형 챗봇 클래스
@@ -31,21 +47,29 @@ class ChatBot:
         "gpt-3.5-turbo": "GPT-3.5 Turbo",
     }
 
-    def __init__(self, openai_api_key: str, model_name: str = "gpt-4o-mini"):
+    def __init__(
+        self,
+        openai_api_key: str,
+        model_name: str = "gpt-4o-mini",
+        gms_server: str = "http://localhost:8080",
+    ):
         """
         ChatBot 인스턴스 초기화
 
         Args:
             openai_api_key: OpenAI API 키
             model_name: 사용할 모델명 (기본값: gpt-4o-mini)
+            gms_server: DataHub GMS 서버 URL (기본값: http://localhost:8080)
         """
         self.openai_api_key = openai_api_key
         self.model_name = model_name
+        self.gms_server = gms_server
         # SQL 생성을 위한 데이터베이스 메타데이터 조회 도구
         self.tools = [
             search_database_tables,  # 데이터베이스 테이블 정보 검색
             get_weather,  # 테스트용 도구 (추후 제거 가능)
             get_famous_opensource,  # 테스트용 도구 (추후 제거 가능)
+            get_glossary_terms,  # 용어집 조회 도구
         ]
         self.llm = self._setup_llm()  # LLM 인스턴스 설정
         self.app = self._setup_workflow()  # LangGraph 워크플로우 설정
@@ -75,10 +99,10 @@ def _setup_workflow(self):
         Returns:
             CompiledGraph: 컴파일된 LangGraph 워크플로우
         """
-        # MessagesState를 사용하는 StateGraph 생성
-        workflow = StateGraph(state_schema=MessagesState)
+        # ChatBotState를 사용하는 StateGraph 생성
+        workflow = StateGraph(state_schema=ChatBotState)
 
-        def call_model(state: MessagesState):
+        def call_model(state: ChatBotState):
             """
             LLM 모델을 호출하는 노드 함수
             LLM이 응답을 생성하거나 tool 호출을 결정합니다.
@@ -89,26 +113,38 @@ def call_model(state: MessagesState):
             Returns:
                 dict: LLM 응답이 포함된 상태 업데이트
             """
-            # SQL 생성 전문 어시스턴트 시스템 메시지
+            # 질문 구체화 전문 어시스턴트 시스템 메시지
             sys_msg = SystemMessage(
                 content="""# 역할
-당신은 사용자가 SQL 쿼리를 생성하도록 돕는 전문 AI 어시스턴트입니다.
+당신은 사용자의 모호한 질문을 명확하고 구체적인 질문으로 만드는 전문 AI 어시스턴트입니다.
 
 # 주요 임무
-- 사용자의 자연어 질문을 이해하고 SQL 쿼리 생성에 필요한 정보를 파악합니다
-- 필요한 경우 데이터베이스 스키마나 메타데이터를 확인하기 위해 도구를 활용합니다
-- 단계별로 사용자와 대화하며 명확한 SQL 쿼리를 만들어갑니다
-- 생성된 SQL에 대해 이해하기 쉽게 설명합니다
+- 사용자의 자연어 질문을 이해하고 의도를 정확히 파악합니다
+- 대화를 통해 날짜, 지표, 필터 조건 등 구체적인 정보를 수집합니다
+- 단계별로 사용자와 대화하며 명확하고 구체적인 질문으로 다듬어갑니다
 
 # 작업 프로세스
-1. 사용자의 의도를 명확히 파악
-2. 필요한 테이블/컬럼 정보 확인 (도구 사용)
-3. 사용자의 질문을 바탕으로 정보를 추출할 수 있는 명확한 질문으로 변환합니다
+1. 사용자의 최초 질문에서 의도 파악
+2. 질문을 명확히 하기 위해 필요한 정보 식별 (날짜, 지표, 대상, 조건 등)
+3. **도구를 적극 활용하여 데이터베이스 스키마, 테이블 정보, 용어집 등을 확인**
+4. 부족한 정보를 자연스럽게 질문하여 수집
+5. 수집된 정보를 바탕으로 질문을 점진적으로 구체화
+6. 충분히 구체화되면 최종 질문 확정
+
+# 도구 사용 가이드
+- **search_database_tables**: 사용자와의 대화를 데이터와 연관짓기 위해 관련 테이블을 적극적으로 확인
+- **get_glossary_terms**: 사용자가 사용한 용어의 정확한 의미를 확인할 때 사용
+- 도구를 사용하면 더 정확하고 구체적인 질문을 만들 수 있습니다
+- 불확실한 정보가 있다면 추측하지 말고 도구를 사용하여 확인하세요
+
+# 예시
+- 모호한 질문: "KPI가 궁금해"
+- 대화 후 구체화: "2025-01-02 날짜의 신규 유저가 발생시킨 매출이 궁금해"
 
 # 주의사항
 - 항상 친절하고 명확하게 대화합니다
 - 이전 대화 맥락을 고려하여 일관성 있게 응답합니다
-- 사용자가 SQL을 이해할 수 있도록 단계별로 설명합니다
+- 한 번에 너무 많은 것을 물어보지 않고 단계적으로 진행합니다
 
 ---
 다음은 사용자와의 대화입니다:"""
@@ -118,7 +154,7 @@ def call_model(state: MessagesState):
             response = self.llm.invoke(messages)
             return {"messages": response}
 
-        def route_model_output(state: MessagesState):
+        def route_model_output(state: ChatBotState):
             """
             LLM 출력에 따라 다음 노드를 결정하는 라우팅 함수
             Tool 호출이 필요한 경우 'tools' 노드로, 아니면 대화를 종료합니다.
@@ -161,10 +197,15 @@ def chat(self, message: str, thread_id: str):
         Returns:
             dict: LLM 응답을 포함한 결과 딕셔너리
         """
-        return self.app.invoke(
-            {"messages": [{"role": "user", "content": message}]},
-            {"configurable": {"thread_id": thread_id}},  # thread_id로 대화 기록 관리
-        )
+        config = {"configurable": {"thread_id": thread_id}}
+
+        # 상태 준비
+        input_state = {
+            "messages": [{"role": "user", "content": message}],
+            "gms_server": self.gms_server,  # DataHub 서버 URL을 상태에 포함
+        }
+
+        return self.app.invoke(input_state, config)
 
     def update_model(self, model_name: str):
         """

utils/llm/tools/__init__.py

@@ -8,6 +8,7 @@
     get_weather,
     get_famous_opensource,
     search_database_tables,
+    get_glossary_terms,
 )
 
 __all__ = [
@@ -17,4 +18,5 @@
     "get_weather",
     "get_famous_opensource",
     "search_database_tables",
+    "get_glossary_terms",
 ]

utils/llm/tools/chatbot_tool.py

@@ -4,6 +4,8 @@
 
 from langchain_core.tools import tool
 from utils.llm.retrieval import search_tables
+from utils.data.datahub_services.base_client import DataHubBaseClient
+from utils.data.datahub_services.glossary_service import GlossaryService
 
 
 @tool
@@ -118,3 +120,136 @@ def search_database_tables(
     return search_tables(
         query=query, retriever_name=retriever_name, top_n=top_n, device=device
     )
+
+
+def _simplify_glossary_data(glossary_data):
+    """
+    용어집 데이터를 name, description, children만 포함하는 간단한 형태로 변환
+
+    Args:
+        glossary_data: 처리된 용어집 데이터
+
+    Returns:
+        list: 간소화된 용어집 데이터 (name, description, children만 포함)
+    """
+    if "error" in glossary_data:
+        return glossary_data
+
+    result = []
+
+    for node in glossary_data.get("nodes", []):
+        simplified_node = {
+            "name": node.get("name"),
+            "description": node.get("description"),
+        }
+
+        # children 정보가 있으면 추가
+        if "details" in node and "children" in node["details"]:
+            children = []
+            for child in node["details"]["children"]:
+                child_info = {
+                    "name": child.get("name"),
+                    "description": child.get("description"),
+                }
+                children.append(child_info)
+
+            if children:
+                simplified_node["children"] = children
+
+        result.append(simplified_node)
+
+    return result
+
+
+@tool
+def get_glossary_terms(gms_server: str = "http://35.222.65.99:8080") -> list:
+    """
+    DataHub에서 용어집(Glossary) 정보를 조회합니다.
+
+    이 함수는 DataHub 서버에 연결하여 전체 용어집 데이터를 가져옵니다.
+    용어집은 비즈니스 용어, 도메인 지식, 데이터 정의 등을 표준화하여 관리하는 곳입니다.
+
+    **중요**: 사용자의 질문이나 대화에서 다음과 같은 상황이 발생하면 반드시 이 도구를 사용하세요:
+    1. 이해되지 않거나 모호한 단어가 나왔을 때
+    2. 특정 조직이나 도메인에서 고유하게 사용되는 전문 용어가 나왔을 때
+    3. 일반적이지 않은 약어나 줄임말이 나왔을 때
+    4. 조직 내부에서만 통용되는 용어가 나왔을 때
+    5. 표준 정의가 필요한 비즈니스 용어가 나왔을 때
+
+    Args:
+        gms_server (str, optional): DataHub GMS 서버 URL입니다.
+                                   기본값은 "http://35.222.65.99:8080"
+
+    Returns:
+        list: 간소화된 용어집 데이터 리스트입니다.
+              각 항목은 name, description, children(선택적) 필드를 포함합니다.
+
+              예시 형태:
+              [
+                  {
+                      "name": "가짜연구소",
+                      "description": "스터디 단체 가짜연구소를 의미하며...",
+                      "children": [
+                          {
+                              "name": "빌더",
+                              "description": "가짜연구소 스터디 리더를 지칭..."
+                          }
+                      ]
+                  },
+                  {
+                      "name": "PII",
+                      "description": "개인 식별 정보...",
+                      "children": [
+                          {
+                              "name": "identifier",
+                              "description": "개인식별정보중 github 아이디..."
+                          }
+                      ]
+                  }
+              ]
+
+    Examples:
+        >>> get_glossary_terms()
+        [{'name': '가짜연구소', 'description': '...', 'children': [...]}]
+
+    Note:
+        이 도구는 다음과 같은 경우에 **반드시** 사용하세요:
+
+        [명시적 요청]
+        - "용어집을 보여줘"
+        - "비즈니스 용어가 뭐가 있어?"
+        - "데이터 사전 정보를 알려줘"
+        - "정의된 용어들을 보여줘"
+
+        [이해되지 않는 단어 감지 - 매우 중요!]
+        - 일반적이지 않은 약어나 전문 용어가 대화에 등장할 때
+        - 표준 정의가 없는 도메인 특화 용어가 나올 때
+        - 질문의 맥락에서 모호하거나 불명확한 용어가 있을 때
+
+        [조직/도메인 특화 상황]
+        - 특정 조직에서만 사용하는 내부 용어가 나올 때
+        - 업계/도메인 전문 용어가 필요할 때
+        - 데이터나 테이블 관련 비즈니스 컨텍스트를 이해하기 위해
+
+        **핵심**: 응답하기 전에 사용자의 질문에 조직 특화 용어나 모호한 단어가
+        있는지 확인하고, 있다면 먼저 이 도구를 호출하여 정확한 정의를 파악하세요.
+    """
+    try:
+        # DataHub 클라이언트 초기화
+        client = DataHubBaseClient(gms_server=gms_server)
+
+        # GlossaryService 초기화
+        glossary_service = GlossaryService(client)
+
+        # 전체 용어집 데이터 가져오기
+        glossary_data = glossary_service.get_glossary_data()
+
+        # 간소화된 데이터 반환
+        simplified_data = _simplify_glossary_data(glossary_data)
+
+        return simplified_data
+
+    except ValueError as e:
+        return {"error": True, "message": f"DataHub 서버 연결 실패: {str(e)}"}
+    except Exception as e:
+        return {"error": True, "message": f"용어집 조회 중 오류 발생: {str(e)}"}