Skip to content

README.md

Latest commit

 

History

History
23 lines (14 loc) · 928 Bytes

README.md

File metadata and controls

23 lines (14 loc) · 928 Bytes

Web Crawl Arena

An open platform for evaluating Web Crawl through human preference.

系统架构

系统由四个主要模块组成：用户接口、Crawl+extract 工具处理模块、用户对结果投票模块。

架构图

下面是系统架构的文本表示：

+------------------------+    +------------------------+    +------------------------+
|       用户接口       |    |  Crawl+extract 工具处理模块  |   |       用户对结果投票模块   |
+------------------------+    +------------------------+    +------------------------+
| 命令行接口  API接口   |    | 提取器管理器          |    |  投票管理器            |
|                      |    | - Firecrawl提取器     |    | - xxx           |
|                      |    | - Jina.ai提取器       |    |                      |
+------------------------+    +------------------------+    +------------------------+