add contoso rules tool

Author: ks6088ts

frontend/.env.sample

@@ -7,6 +7,11 @@ AZURE_OPENAI_API_KEY = "<aoai-api-key>"
 AZURE_OPENAI_API_VERSION = "2024-05-01-preview"
 AZURE_OPENAI_MODEL_WHISPER = "whisper"
 AZURE_OPENAI_MODEL_CHAT = "gpt-4o"
+AZURE_OPENAI_MODEL_EMBEDDING = "text-embedding-3-large"
+
+# Azure AI Search
+AZURE_AI_SEARCH_ENDPOINT = "https://<your-aisearch-name>.search.windows.net"
+AZURE_AI_SEARCH_API_KEY = "<api-key>"
 
 # LangSmith
 LANGCHAIN_TRACING_V2 = "false" # set to "true" to enable tracing

frontend/pages/tool_agent.py

@@ -9,6 +9,7 @@
 from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
 from langchain_core.runnables import RunnableConfig
 from langchain_openai import AzureChatOpenAI
+from tools.fetch_contoso_rules import fetch_contoso_rules
 from tools.search_ddg import search_ddg
 
 logger = logging.getLogger(__name__)
@@ -64,7 +65,10 @@ def init_messages():
 
 
 def create_agent():
-    tools = [search_ddg]
+    tools = [
+        search_ddg,
+        fetch_contoso_rules,
+    ]
     prompt = ChatPromptTemplate.from_messages(
         [
             ("system", CUSTOM_SYSTEM_PROMPT),

frontend/tools/fetch_contoso_rules.py

@@ -0,0 +1,88 @@
+# GitHub: https://github.com/naotaka1128/llm_app_codes/chapter_010/tools/fetch_qa_content.py
+
+from os import getenv
+
+from langchain_community.vectorstores.azuresearch import AzureSearch
+from langchain_core.pydantic_v1 import BaseModel, Field
+from langchain_core.tools import tool
+from langchain_openai import AzureOpenAIEmbeddings
+
+
+class FetchContentInput(BaseModel):
+    """型を指定するためのクラス"""
+
+    query: str = Field()
+
+
+def get_embeddings():
+    return AzureOpenAIEmbeddings(
+        api_key=getenv("AZURE_OPENAI_API_KEY"),
+        api_version=getenv("AZURE_OPENAI_API_VERSION"),
+        azure_endpoint=getenv("AZURE_OPENAI_ENDPOINT"),
+        azure_deployment=getenv("AZURE_OPENAI_MODEL_EMBEDDING"),
+    )
+
+
+def create_azure_search(index_name: str) -> AzureSearch:
+    return AzureSearch(
+        azure_search_endpoint=getenv("AZURE_AI_SEARCH_ENDPOINT"),
+        azure_search_key=getenv("AZURE_AI_SEARCH_API_KEY"),
+        index_name=index_name,
+        embedding_function=get_embeddings().embed_query,
+        additional_search_client_options={"retry_total": 4},
+    )
+
+
+@tool(args_schema=FetchContentInput)
+def fetch_contoso_rules(query):
+    """
+    Contoso 社の就業規則情報から、関連するコンテンツを見つけるツールです。
+    Contoso 社に関する具体的な知識を得るのに役立ちます。
+
+    このツールは `similarity`（類似度）と `content`（コンテンツ）を返します。
+    - 'similarity'は、回答が質問にどの程度関連しているかを示します。
+        値が高いほど、質問との関連性が高いことを意味します。
+        'similarity'値が0.5未満のドキュメントは返されません。
+    - 'content'は、質問に対する回答のテキストを提供します。
+        通常、よくある質問とその対応する回答で構成されています。
+
+    空のリストが返された場合、ユーザーの質問に対する回答が見つからなかったことを意味します。
+    その場合、ユーザーに質問内容を明確にしてもらうのが良いでしょう。
+
+    Returns
+    -------
+    List[Dict[str, Any]]:
+    - page_content
+      - similarity: float
+      - content: str
+    """
+    db = create_azure_search("contoso_rules")
+    docs = db.similarity_search_with_relevance_scores(
+        query=query,
+        k=3,
+        score_threshold=0.5,
+    )
+    return [
+        {
+            "similarity": similarity,
+            "content": i.page_content,
+        }
+        for i, similarity in docs
+    ]
+
+
+if __name__ == "__main__":
+    import logging
+
+    from dotenv import load_dotenv
+
+    logging.basicConfig(
+        format="[%(asctime)s] %(levelname)7s from %(name)s in %(pathname)s:%(lineno)d: " "%(message)s",
+        level=logging.DEBUG,
+        force=True,
+    )
+
+    load_dotenv()
+    docs = fetch_contoso_rules("ドレスコード")
+    for doc in docs:
+        print(doc)

poetry.lock

@@ -62,6 +62,7 @@ langchain-community = "^0.2.10"
 youtube-transcript-api = "^0.6.2"
 pytube = "^15.0.0"
 duckduckgo-search = "^6.2.3"
+azure-search-documents = "^11.5.0"
 
 
 [tool.poetry.group.azure-functions.dependencies]