Merge pull request #40 from DUT-Team-21TCLC-DT3/feat/enhance-output-from-website-search

feat: Enhance output from web search and answer composer

Author: taiphanvan2k3

ai_service/app/pipelines/answer_composer.py

@@ -71,39 +71,35 @@ def compose(
 {graph_context_str}
 {web_context_str}
 
-QUY TẮC TRÍCH DẪN & HIỂN THỊ LINK (BẮT BUỘC TUÂN THỦ):
-
 QUY TẮC ĐỊNH DẠNG (MARKDOWN):
 1. **Cấu trúc văn bản**:
    - Sử dụng **Markdown** để trình bày.
-   - Dùng dấu `**...**` để **in đậm** những thông tin quan trọng như: số tiền phạt, số năm tù, tên điều luật.
+   - Dùng dấu `**...**` để **in đậm** những thông tin quan trọng.
    - Dùng gạch đầu dòng (`-`) để liệt kê các ý.
-   - Dùng tiêu đề (`###`) để phân chia các phần (Ví dụ: ### Đối với Ô tô, ### Đối với Xe máy).
-
-2. **Quy tắc trích dẫn**:
-   - **TUYỆT ĐỐI KHÔNG** chèn trực tiếp URL hay thẻ [[...]] vào giữa dòng.
-   - Chỉ sử dụng **số thứ tự trong ngoặc vuông** để đánh dấu nguồn minh chứng. Ví dụ: [1], [2], [3].
-   - Đặt số thứ tự này ở cuối câu hoặc cuối mệnh đề quan trọng.
-   - Ví dụ đúng: "Mức phạt là 20 triệu đồng [1]."
-   - Ví dụ sai: "Mức phạt là 20 triệu [[Link...]] đồng."
-
-3. **Phần danh sách nguồn cuối cùng**:
-   - Bắt buộc tạo một mục riêng ở cuối câu trả lời với tiêu đề: "**NGUỒN THAM KHẢO**".
-   - Tại mục này, hãy liệt kê chi tiết các nguồn tương ứng với số thứ tự đã đánh dấu ở trên.
-   - Sử dụng định dạng FE chuẩn cho từng dòng:
-     **[n] [[Tên Tiêu Đề Ngắn Gọn | URL]]**
-
-3. **Yêu cầu nội dung**:
+   - Dùng tiêu đề (`###`) để phân chia các phần.
+
+2. **Quy tắc trích dẫn (Footnote)**:
+   - Trong nội dung bài viết, **TUYỆT ĐỐI KHÔNG** chèn URL.
+   - Chỉ sử dụng **số thứ tự trong ngoặc vuông** để đánh dấu nguồn. Ví dụ: [1], [2].
+   - Đặt số thứ tự này ở cuối câu chứa thông tin.
+
+3. **Phần danh sách nguồn cuối cùng (QUAN TRỌNG)**:
+   - Bắt buộc tạo một mục riêng ở cuối cùng với tiêu đề: `### Nguồn tham khảo`
+   - Liệt kê các nguồn theo định dạng **Markdown Link chuẩn**:
+     `1. [Tên tiêu đề ngắn gọn](URL)`
+     `2. [Tên tiêu đề ngắn gọn](URL)`
+
+4. **Yêu cầu nội dung**:
    - Trả lời thẳng vào vấn đề, giọng văn pháp lý chuyên nghiệp.
-   - Nếu nhiều nguồn cùng xác nhận một thông tin, hãy gộp số: ví dụ [1, 2].
+   - Nếu nhiều nguồn cùng xác nhận, hãy gộp số: ví dụ [1, 2].
    - Không bịa đặt URL, chỉ dùng URL có trong Context.
 
 -----
 VÍ DỤ OUTPUT MONG MUỐN:
-Chào bạn, theo quy định tại **Nghị định 100/2019/NĐ-CP** (sửa đổi bởi Nghị định 123/2021), mức phạt cho lỗi vượt đèn đỏ như sau:
+Chào bạn, theo quy định tại **Nghị định 100/2019/NĐ-CP**, mức phạt như sau:
 
 ### 1. Đối với xe Ô tô
-Người điều khiển xe ô tô vượt đèn đỏ sẽ bị phạt tiền từ **4.000.000 đồng đến 6.000.000 đồng** [1]. Ngoài ra, tài xế còn bị tước quyền sử dụng Giấy phép lái xe từ **01 đến 03 tháng** [2].
+Phạt tiền từ **4.000.000 đồng đến 6.000.000 đồng** [1]. Ngoài ra bị tước bằng lái 01-03 tháng [2].
 
 ### 2. Đối với xe Máy
 Mức phạt tiền từ **800.000 đồng đến 1.000.000 đồng** [1].
@@ -184,39 +180,35 @@ def compose_stream(
 {graph_context_str}
 {web_context_str}
 
-QUY TẮC TRÍCH DẪN & HIỂN THỊ LINK (BẮT BUỘC TUÂN THỦ):
-
 QUY TẮC ĐỊNH DẠNG (MARKDOWN):
 1. **Cấu trúc văn bản**:
    - Sử dụng **Markdown** để trình bày.
-   - Dùng dấu `**...**` để **in đậm** những thông tin quan trọng như: số tiền phạt, số năm tù, tên điều luật.
+   - Dùng dấu `**...**` để **in đậm** những thông tin quan trọng.
    - Dùng gạch đầu dòng (`-`) để liệt kê các ý.
-   - Dùng tiêu đề (`###`) để phân chia các phần (Ví dụ: ### Đối với Ô tô, ### Đối với Xe máy).
-
-2. **Quy tắc trích dẫn**:
-   - **TUYỆT ĐỐI KHÔNG** chèn trực tiếp URL hay thẻ [[...]] vào giữa dòng.
-   - Chỉ sử dụng **số thứ tự trong ngoặc vuông** để đánh dấu nguồn minh chứng. Ví dụ: [1], [2], [3].
-   - Đặt số thứ tự này ở cuối câu hoặc cuối mệnh đề quan trọng.
-   - Ví dụ đúng: "Mức phạt là 20 triệu đồng [1]."
-   - Ví dụ sai: "Mức phạt là 20 triệu [[Link...]] đồng."
-
-3. **Phần danh sách nguồn cuối cùng**:
-   - Bắt buộc tạo một mục riêng ở cuối câu trả lời với tiêu đề: "**NGUỒN THAM KHẢO**".
-   - Tại mục này, hãy liệt kê chi tiết các nguồn tương ứng với số thứ tự đã đánh dấu ở trên.
-   - Sử dụng định dạng FE chuẩn cho từng dòng:
-     **[n] [[Tên Tiêu Đề Ngắn Gọn | URL]]**
-
-3. **Yêu cầu nội dung**:
+   - Dùng tiêu đề (`###`) để phân chia các phần.
+
+2. **Quy tắc trích dẫn (Footnote)**:
+   - Trong nội dung bài viết, **TUYỆT ĐỐI KHÔNG** chèn URL.
+   - Chỉ sử dụng **số thứ tự trong ngoặc vuông** để đánh dấu nguồn. Ví dụ: [1], [2].
+   - Đặt số thứ tự này ở cuối câu chứa thông tin.
+
+3. **Phần danh sách nguồn cuối cùng (QUAN TRỌNG)**:
+   - Bắt buộc tạo một mục riêng ở cuối cùng với tiêu đề: `### Nguồn tham khảo`
+   - Liệt kê các nguồn theo định dạng **Markdown Link chuẩn**:
+     `1. [Tên tiêu đề ngắn gọn](URL)`
+     `2. [Tên tiêu đề ngắn gọn](URL)`
+
+4. **Yêu cầu nội dung**:
    - Trả lời thẳng vào vấn đề, giọng văn pháp lý chuyên nghiệp.
-   - Nếu nhiều nguồn cùng xác nhận một thông tin, hãy gộp số: ví dụ [1, 2].
+   - Nếu nhiều nguồn cùng xác nhận, hãy gộp số: ví dụ [1, 2].
    - Không bịa đặt URL, chỉ dùng URL có trong Context.
 
 -----
 VÍ DỤ OUTPUT MONG MUỐN:
-Chào bạn, theo quy định tại **Nghị định 100/2019/NĐ-CP** (sửa đổi bởi Nghị định 123/2021), mức phạt cho lỗi vượt đèn đỏ như sau:
+Chào bạn, theo quy định tại **Nghị định 100/2019/NĐ-CP**, mức phạt như sau:
 
 ### 1. Đối với xe Ô tô
-Người điều khiển xe ô tô vượt đèn đỏ sẽ bị phạt tiền từ **4.000.000 đồng đến 6.000.000 đồng** [1]. Ngoài ra, tài xế còn bị tước quyền sử dụng Giấy phép lái xe từ **01 đến 03 tháng** [2].
+Phạt tiền từ **4.000.000 đồng đến 6.000.000 đồng** [1]. Ngoài ra bị tước bằng lái 01-03 tháng [2].
 
 ### 2. Đối với xe Máy
 Mức phạt tiền từ **800.000 đồng đến 1.000.000 đồng** [1].

ai_service/app/services/streaming_service.py

@@ -3,6 +3,7 @@
 """
 import asyncio
 import logging
+import re
 from typing import AsyncGenerator
 from ..utils.stream_utils import create_tool_thought, create_content_chunk, AgentTool
 
@@ -19,6 +20,14 @@
 class StreamingService:
     """Service for handling streaming responses"""
 
+    @staticmethod
+    async def _perform_web_search(question: str) -> tuple[str, int]:
+        """Helper function to perform web search and return context with reference count"""
+        ws = WebSearchService()
+        web_context = await asyncio.to_thread(ws.search, question)
+        reference_count = len(re.findall(r'Link:\s*https?://[^\s\n]+', web_context))
+        return web_context, reference_count
+
     @staticmethod
     async def generate_streaming_response(question: str, is_debug: bool = False) -> AsyncGenerator[str, None]:
         """
@@ -59,8 +68,9 @@ async def generate_streaming_response(question: str, is_debug: bool = False) ->
             if category == 'WEBSITE_SEARCH':
                 yield create_tool_thought(AgentTool.WEB_SEARCH)
                 log.info("Direct Web Search - skipping vector/graph search")
-                ws = WebSearchService()
-                web_context = await asyncio.to_thread(ws.search, question)
+                web_context, reference_count = await StreamingService._perform_web_search(question)
+                yield create_tool_thought(AgentTool.WEB_SEARCH, f"Số lượng website cung cấp thông tin tham khảo: {reference_count}")
+
                 yield create_tool_thought(AgentTool.CONCLUSION)
                 composer = AnswerComposerService()
 
@@ -98,8 +108,8 @@ async def generate_streaming_response(question: str, is_debug: bool = False) ->
             if not final_choice:
                 yield create_tool_thought(AgentTool.WEB_SEARCH)
                 log.info("Triggering Web Search...")
-                ws = WebSearchService()
-                web_context = await asyncio.to_thread(ws.search, question)
+                web_context, reference_count = await StreamingService._perform_web_search(question)
+                yield create_tool_thought(AgentTool.WEB_SEARCH, f"Số lượng website cung cấp thông tin tham khảo: {reference_count}")
 
             # 6. Compose
             yield create_tool_thought(AgentTool.CONCLUSION)

ai_service/app/utils/stream_utils.py

@@ -14,14 +14,15 @@
     AgentTool.FALLBACK: "Đang tìm phương án trả lời thay thế..."
 }
 
-def create_tool_thought(tool_name: str) -> str:
+def create_tool_thought(tool_name: str, content: str = None) -> str:
     """
-    Tạo ra một SSE string cho 'thought' dựa trên tên tool.
+    Tạo ra một SSE string cho 'thought' dựa trên tên tool và nội dung (nếu có).
     Input: "WebSearch"
     Output: data: {"type": "thought", "data": "Đang tìm kiếm...", ...}\n\n
     """
     # Lấy nội dung thân thiện, nếu không có thì dùng mặc định
-    content = TOOL_DESCRIPTIONS.get(tool_name, f"Đang xử lý tác vụ: {tool_name}...")
+    if content is None:
+        content = TOOL_DESCRIPTIONS.get(tool_name, f"Đang xử lý tác vụ: {tool_name}...")
 
     chunk = StreamingChunk(
         type="thought",