将LLM api 配置放到config.py中

Author: 1041206149

config.py

@@ -0,0 +1 @@
+"""全局配置文件"""# LLM配置，用于修正抽取工具的抽取结果LLM_CONFIG = {    'llm_base_url': '',    'llm_api_key': '',    'llm_model': 'deepseek-chat',    'use_llm': True}

examples/multi_extractor_compare.py

@@ -1,21 +1,15 @@
 from webmainbench import DataLoader, Evaluator, ExtractorFactory, DataSaver
 from pathlib import Path
 
-# 全局LLM配置
-LLM_CONFIG = {
-    'llm_base_url': '',
-    'llm_api_key': '',
-    'llm_model': '',
-    'use_llm': True
-}
+# 如需调用LLM修正抽取结果，在config.py中配置 LLM api
 
 def all_extractor_comparison():
     """演示多抽取器对比"""
 
     print("\n=== 多抽取器对比演示 ===\n")
 
     # 创建数据集
-    dataset_path = Path("../data/test_math.jsonl")
+    dataset_path = Path("../data/WebMainBench_llm-webkit_v1_WebMainBench_7887_within_formula.jsonl")
     dataset = DataLoader.load_jsonl(dataset_path)
 
     # 创建webkit抽取器
@@ -35,7 +29,7 @@ def all_extractor_comparison():
     # 运行对比
     evaluator = Evaluator()
     extractors = [webkit_extractor, magic_extractor, trafilatura_extractor, resiliparse_extractor]
-    # extractors = [webkit_extractor]
+    extractors = [webkit_extractor]
 
 
     results = evaluator.compare_extractors(

webmainbench/metrics/base.py

@@ -197,7 +197,7 @@ def _extract_from_markdown(text: str, field_name: str = None) -> Dict[str, str]:
             return {'code': '', 'formula': '', 'table': '', 'text': ''}
 
         # 加载 llm 配置
-        from examples.multi_extractor_compare import LLM_CONFIG
+        from config import LLM_CONFIG
         # 直接创建具体的提取器实例
         from .code_extractor import CodeSplitter
         from .formula_extractor import FormulaSplitter