建議收錄 WFGY：基於 16 Problem Map 的 LLM 調試工具

[onestardao]

你好，感謝維護這個 awesome AI 工具清單，對華語圈開發者真的很有幫助。

我想建議收錄一個偏工程向的開源專案 WFGY，它比較少是「又一個模型」，而是專門幫大家調試大模型應用的工具包。

• 名稱：WFGY – LLM debugging framework based on a 16 Problem Map
• 連結：https://github.com/onestardao/WFGY
• Star：1k+
• 授權：MIT

簡單介紹

WFGY 是一個以「16 Problem Map」為核心的 LLM 調試框架，專門處理像是：

• RAG 召回不足、文檔切片錯位、向量庫配置不當等檢索問題
• prompt injection / 提示詞攻擊與安全邊界
• 向量維度、正規化、距離度量設置錯誤造成的檢索異常
• 評估指標選錯、沒有可審計的錯誤列表等工程痛點

Repo 內含三層內容：

1. 1.0 PDF / 文檔：系統整理 16 類常見失敗模式，配合數學與工程觀點解釋。
2. 2.0 RAG / 基礎設施診所：每個問題對應一頁教學與解法示例，方便直接對照排查。
3. 3.0 TXT playground：長文本壓力測試與實驗題庫，可以丟給任意 LLM（雲端或本地）做行為測試。

全部都是純文本、標準 markdown，可以搭配本地模型、雲端 API 或各種框架一起使用。

為什麼適合這個清單

這個 awesome 列表主要面向「實際要用 AI 做事」的開發者。
WFGY 剛好補上「出問題之後怎麼系統地查」這一塊：

• 不是只給 prompt，而是給一整套 16 Problem Map 的檢查表和實驗腳本
• 能配合任意向量庫、RAG 框架或 agent 架構使用
• MIT 授權，適合商用專案拿去直接改造

如果覺得合適，可以在 LLM / 工程工具相關的區塊加一行，例如：

• WFGY – 基於 16 Problem Map 的開源 LLM 調試與壓力測試工具包，專注解決 RAG 與大模型應用中的工程級故障（MIT）。

[onestardao]

你好，補充說明一下這個提案的背景。

WFGY 2.0 的「RAG 16 問題清單（Problem Map）」目前已被多個 RAG 與 LLM 生態中的專案收錄或引用，例如：

• RAGFlow
• LlamaIndex
• ToolUniverse（Harvard MIMS Lab）
• Rankify（University of Innsbruck）
• Multimodal RAG Survey（QCRI LLM Lab）

在這些專案中，WFGY 並不是作為另一個模型或框架，而是作為一個「失敗模式診斷層（diagnostic layer）」使用，用於系統性排查 RAG / LLM 管線中的常見問題，例如檢索偏移、向量索引錯誤、提示注入、部署與工具契約不一致等。

如果貴列表中有「LLM 工具」、「RAG 工具」、「調試 / 評估工具」或類似分類，我認為 WFGY 會是一個合適的補充資源。

若您認為方向合適，我可以提交一個最小化 MVP PR，僅加入一行符合現有格式的簡介條目，避免影響列表結構。

如果不在收錄範圍內，也完全理解。只是想在已有多個專案收錄的基礎上，再確認一次是否適合納入。

感謝維護這個列表。