Fix the bug of dataflow with ID #57 #59 #60 #62 (#63)

z275748353 · zhanglongbin · web-flow · commit fdec905ee515 · 2025-11-28T18:07:45.000+08:00
* Fix the bug of dataflow with ID #34 * Fix the bug of dataflow with ID #57 #59 #60 #62 --------- Co-authored-by: zhanglongbin <zhanglongbin@goboosoft.com>
diff --git a/attach/operator_docs/alphanumeric_filter.md b/attach/operator_docs/alphanumeric_filter.md
@@ -0,0 +1,4 @@
+字母/数字占比过滤（`alphanumeric_filter`）
+- 输入：混合字母、数字、符号的文本样本。
+- 输出：仅保留字母+数字比例在设定区间内的样本。
+- 核心：统计样本中字母+数字字符占比，过滤掉比例过低或过高的噪声数据。
diff --git a/attach/operator_docs/annotate_edu_train_bert_scorer_mapper.md b/attach/operator_docs/annotate_edu_train_bert_scorer_mapper.md
@@ -0,0 +1,7 @@
+教学评估打分（`annotate_edu_train_bert_scorer_mapper`）
+- 输入：一条待评估的文本（如教学/科普内容）。
+- 输出：在样本中新增一个形如 `text_score` 的评分字段，取值范围约在 0~5 之间。
+- 核心：
+  - 使用 OpenAI 兼容的 embedding 接口（如 `text-embedding-v4`）分别对固定查询 `query_text` 和当前样本文本做向量编码。
+  - 计算两者余弦相似度，并按区间映射到 0–5 分段（低/中/高相关分别线性缩放）。
+  - 得分越高表示与 `query_text` 越相关，可作为后续筛选依据。
diff --git a/attach/operator_docs/average_line_length_filter.md b/attach/operator_docs/average_line_length_filter.md
@@ -0,0 +1,4 @@
+平均行长度范围过滤（`average_line_length_filter`）
+- 输入：多行代码/文本样本。
+- 输出：平均行长度在设定区间内的样本。
+- 核心：计算每行长度的均值，剔除行长过短/过长的异常样本。
diff --git a/attach/operator_docs/character_repetition_filter.md b/attach/operator_docs/character_repetition_filter.md
@@ -0,0 +1,4 @@
+字符级重复率范围过滤（`character_repetition_filter`）
+- 输入：可能包含大量重复字符的文本（如"哈哈哈哈哈哈…"）。
+- 输出：只保留 n-gram 字符重复率在正常区间内的样本。
+- 核心：按字符级 n-gram 统计重复比率，过滤重复度异常高的垃圾文本。
diff --git a/attach/operator_docs/chinese_convert_mapper.md b/attach/operator_docs/chinese_convert_mapper.md
@@ -0,0 +1,4 @@
+汉字转换（`chinese_convert_mapper`）
+- 输入："這是一段繁體中文，包含東京、大阪等地名。"
+- 输出："这是一段繁体中文，包含东京、大阪等地名。"
+- 核心：在繁体中文、简体中文和日文汉字之间进行转换，便于统一中文语料的文字标准。
diff --git a/attach/operator_docs/clean_copyright_mapper.md b/attach/operator_docs/clean_copyright_mapper.md
@@ -0,0 +1,5 @@
+版权信息清理（`clean_copyright_mapper`）
+- 输入："/* Copyright XXX 2024 */\n// some license text\nint main() {return 0;}"
+- 输出："int main() {return 0;}"
+- 核心：优先识别并删除开头包含 `copyright` 的 `/* ... */` 块注释；
+  如果文档以一串 `//`、`#`、`--` 注释行（或空行）开头，也会整体跳过这些头部注释，保留后面的正文。
diff --git a/attach/operator_docs/clean_email_mapper.md b/attach/operator_docs/clean_email_mapper.md
@@ -0,0 +1,4 @@
+邮箱后缀清理（`clean_email_mapper`）
+- 输入："如有问题，请联系 test@example.com 或 admin@test.cn。"
+- 输出："如有问题，请联系  或 。"
+- 核心：利用正则匹配电子邮件地址并删除，保护隐私。
diff --git a/attach/operator_docs/clean_html_mapper.md b/attach/operator_docs/clean_html_mapper.md
@@ -0,0 +1,4 @@
+HTML 代码清理（`clean_html_mapper`）
+- 输入："<p>欢迎访问 <b>示例网站</b></p>"
+- 输出："欢迎访问 示例网站"
+- 核心：解析并移除 HTML 标签，保留纯文本内容。
diff --git a/attach/operator_docs/clean_ip_mapper.md b/attach/operator_docs/clean_ip_mapper.md
@@ -0,0 +1,4 @@
+IP 地址清理（`clean_ip_mapper`）
+- 输入："服务器地址为 192.168.0.1，备份地址为 fe80::1。"
+- 输出："服务器地址为 ，备份地址为 。"
+- 核心：删除文本中的 IPv4 / IPv6 地址信息，减少隐私与安全风险。
diff --git a/attach/operator_docs/clean_links_mapper.md b/attach/operator_docs/clean_links_mapper.md
@@ -0,0 +1,4 @@
+链接地址清理（`clean_links_mapper`）
+- 输入："详情见 http://example.com 或 https://foo.bar/path。"
+- 输出："详情见  或 。"
+- 核心：删除以 http/https/ftp 等前缀开头的 URL 链接。
diff --git a/attach/operator_docs/dedup_and_save_deduplicator.md b/attach/operator_docs/dedup_and_save_deduplicator.md
@@ -0,0 +1,6 @@
+多轮对话去重并保存（`dedup_and_save_deduplicator`）
+- 输入：已通过 `encode_and_get_nearest_mapper` 查找到相似集合的多轮对话数据。
+- 输出：每个相似集合只保留一条代表样本，按任务类型拆分写入不同文件。
+- 核心：
+  - 对每个相似集合保留索引最小的样本，其余视为重复删掉。
+  - 根据任务类型（如问答、纠错、推荐等）将最终样本分桶保存，方便后续按任务训练。
diff --git a/attach/operator_docs/document_deduplicator.md b/attach/operator_docs/document_deduplicator.md
@@ -0,0 +1,4 @@
+文档去重（MD5）（`document_deduplicator`）
+- 输入：带有完整文本字段的样本集合。
+- 输出：按文档级进行 MD5 精确去重后的数据集。
+- 核心：对文档内容计算 MD5 哈希，移除哈希值相同的重复样本。
diff --git a/attach/operator_docs/document_minhash_deduplicator.md b/attach/operator_docs/document_minhash_deduplicator.md
@@ -0,0 +1,4 @@
+文档去重（MinHashLSH）（`document_minhash_deduplicator`）
+- 输入：大规模文本语料库。
+- 输出：近似相同文档被合并/去重后的数据集。
+- 核心：通过 MinHash + LSH 近似检测高 Jaccard 相似度的文档并去重，原始中间结构以字节存储，最终数据集不保留这些结构。
diff --git a/attach/operator_docs/document_simhash_deduplicator.md b/attach/operator_docs/document_simhash_deduplicator.md
@@ -0,0 +1,4 @@
+文档去重（SimHash）（`document_simhash_deduplicator`）
+- 输入：文本语料库。
+- 输出：根据 SimHash 相似度去重后的数据集。
+- 核心：对文本计算 SimHash 向量，通过汉明距离阈值判断"近似重复"，删除冗余样本。
diff --git a/attach/operator_docs/encode_and_get_nearest_mapper.md b/attach/operator_docs/encode_and_get_nearest_mapper.md
@@ -0,0 +1,7 @@
+数据样本向量编码搜索（`encode_and_get_nearest_mapper`）
+- 输入：包含 `first_prompt` 字段的样本集合（通常由前序算子整理得到）。
+- 输出：为每条样本增加 `embedding`、`nn_indices`、`nn_scores` 字段，记录其向量表示及最近邻信息。
+- 核心：
+  - 通过 OpenAI 兼容的 embedding 接口（默认 `text-embedding-v4`）对 `first_prompt` 列表编码为向量。
+  - 使用 `datasets` + `faiss` 构建索引，以内积（余弦）相似度检索每条样本的 Top‑K 最近邻。
+  - 结果用于后续基于图连通性的去重算子 `dedup_and_save_deduplicator`。
diff --git a/attach/operator_docs/expand_macro_mapper.md b/attach/operator_docs/expand_macro_mapper.md
@@ -0,0 +1,4 @@
+宏定义扩展（`expand_macro_mapper`）
+- 输入：一段包含 `\\newcommand` 等宏定义的 LaTeX 文档。
+- 输出：宏已被展开、替换为实际文本的 LaTeX 文本。
+- 核心：借助 LaTeX 解析，将常见宏在正文中展开，方便后续统计与过滤。
diff --git a/attach/operator_docs/extract_qa_mapper.md b/attach/operator_docs/extract_qa_mapper.md
@@ -0,0 +1,7 @@
+问答对提取（`extract_qa_mapper`）
+- 输入：说明性文档文本，如："物联网是物物相连的互联网，核心是互联网..."。
+- 输出：`[{"Human":"物联网的核心是什么？","Assistant":"互联网"}, ...]` 对应的 ChatML JSON 字符串。
+- 核心：
+  - 调用远程 API（支持 OpenAI 兼容格式，如 Qwen、DeepSeek、GPT 等）生成包含多轮 `Human: ...\nAssistant: ...` 的问答文本。
+  - 用正则模式 `Human: (.*?)\nAssistant: (.*?)(?=\nHuman|$)` 抽取问答对。
+  - 转成 ChatML 格式的 `messages` 列表，序列化后写回样本，实现从文档到多轮问答对的自动构造。
diff --git a/attach/operator_docs/fix_unicode_mapper.md b/attach/operator_docs/fix_unicode_mapper.md
@@ -0,0 +1,4 @@
+Unicode 错误修正（`fix_unicode_mapper`）
+- 输入："This text has bad characters: cafÃ© and broken quotes â€œ."
+- 输出："This text has bad characters: café and broken quotes \"."
+- 核心：通过 `ftfy` 等库修正常见的 Unicode 编码错误，修复乱码与错误字符。
diff --git a/attach/operator_docs/flagged_words_filter.md b/attach/operator_docs/flagged_words_filter.md
@@ -0,0 +1,4 @@
+标记词比例过滤（`flagged_words_filter`）
+- 输入：带有敏感词/黑名单词的文本集合。
+- 输出：标记词占比低于设定阈值的样本。
+- 核心：根据预设标记词表，统计每条样本中这些词的比例，剔除比例过高的样本。
diff --git a/attach/operator_docs/frequency_specified_field_selector.md b/attach/operator_docs/frequency_specified_field_selector.md
@@ -0,0 +1,4 @@
+排序频率选择器（`frequency_specified_field_selector`）
+- 输入：样本中包含某分类字段（如 `source`、`domain`）。
+- 输出：按字段值出现频率排序后，选出前 k 个最常见值对应的样本。
+- 核心：统计指定字段的频率，选择高频类别对应的样本子集。
diff --git a/attach/operator_docs/gather_generated_data_filter.md b/attach/operator_docs/gather_generated_data_filter.md
@@ -0,0 +1,12 @@
+数据 Bloom 过滤去重（`text_bloom_filter`）与生成数据聚合（`gather_generated_data_filter`）
+- 输入：可能包含重复内容的大规模文本流，或由生成算子输出的 `instruction/response` 对话数据。
+- 输出：
+  - 经 `text_bloom_filter` 过滤后，仅保留首见文本；
+  - 经 `gather_generated_data_filter` 清洗后，得到带有 `conversation` 字段的一问一答对话，并去掉 prompt 为空或重复的样本。
+- 核心：
+  - `text_bloom_filter`：对 `text` 做哈希写入可扩展 BloomFilter，用哈希是否已存在判断是否是重复样本，再决定是否保留。
+  - `gather_generated_data_filter`：
+    - 从 `instruction`/`response` 中去掉 `||`、`<|im_end|>` 噪声标记并裁剪空白。
+    - 构造标准 `conversation=[{"role":"user"...},{"role":"assistant"...}]` 结构。
+    - 用一个集合跟踪 `first_prompt` 是否已出现，过滤掉 conversation 为空或 prompt 重复的样本。
+
diff --git a/attach/operator_docs/generate_code_qa_pair_mapper.md b/attach/operator_docs/generate_code_qa_pair_mapper.md
@@ -0,0 +1,9 @@
+代码转换成 QA 对数据集（`generate_code_qa_pair_mapper`）
+- 输入：Python 代码片段：
+  ```python
+  def hello_world():
+      print("Hello, World!")
+  hello_world()
+  ```
+- 输出：`{"text": {"input": "用 Python 编写一个输出 Hello World 的函数，并调用它", "response": "def hello_world():..."}}`
+- 核心：调用本地/服务化 LLM，根据代码生成对应的中文描述式「需求 prompt」，形成 `input(自然语言描述) / response(代码)` 的 QA 对，用于代码指令微调数据集。
diff --git a/attach/operator_docs/language_id_score_filter.md b/attach/operator_docs/language_id_score_filter.md
@@ -0,0 +1,4 @@
+特定语言置信度过滤（`language_id_score_filter`）
+- 输入：可能包含多语言的混合语料。
+- 输出：仅保留目标语言（如 zh/en）且语言识别置信度高于阈值的样本。
+- 核心：使用语言识别模型给出每条样本的语言标签和置信度，根据阈值筛选。
diff --git a/attach/operator_docs/make_cosmopedia_mapper.md b/attach/operator_docs/make_cosmopedia_mapper.md
@@ -0,0 +1,4 @@
+风格数据合成（`make_cosmopedia_mapper`）
+- 输入：包含 `title` 和正文 `text` 的网页摘录样本。
+- 输出：`sample['data']` 中写入一篇 WikiHow/教程风格的合成文章。
+- 核心：使用远程 OpenAI 兼容 API（默认 Qwen 系列），将网页摘录作为 topic，按模板生成长篇、多步骤、可操作性强的教学文本。
diff --git a/attach/operator_docs/maximum_line_length_filter.md b/attach/operator_docs/maximum_line_length_filter.md
@@ -0,0 +1,4 @@
+最大行长度范围过滤（`maximum_line_length_filter`）
+- 输入：多行文本/代码。
+- 输出：最长一行长度在指定范围内的样本。
+- 核心：过滤包含极端长行（如压缩成一行的大 JSON/HTML）的样本。
diff --git a/attach/operator_docs/multi_keyword_filter.md b/attach/operator_docs/multi_keyword_filter.md
@@ -0,0 +1,4 @@
+多关键词过滤（`multi_keyword_filter`）
+- 输入：包含文本内容的样本集合。
+- 输出：删除匹配到任何指定关键词的样本。
+- 核心：根据预设的关键词列表，当样本中包含任意一个关键词时，将该样本过滤掉，用于删除包含特定关键词的不需要的数据记录。
diff --git a/attach/operator_docs/nlpaug_en_mapper.md b/attach/operator_docs/nlpaug_en_mapper.md
@@ -0,0 +1,4 @@
+英文语义增强（`nlpaug_en_mapper`）
+- 输入："The movie is great and very interesting."
+- 输出："The film is excellent and really engaging."（或同义改写版本）
+- 核心：使用 `nlpaug` 对英文样本进行同义词替换、插入、删除等轻量增强，扩充训练语料。
diff --git a/attach/operator_docs/nlpcda_zh_mapper.md b/attach/operator_docs/nlpcda_zh_mapper.md
@@ -0,0 +1,4 @@
+汉语语义增强（`nlpcda_zh_mapper`）
+- 输入："这家餐厅的菜很好吃，服务也不错。"
+- 输出："这家饭店的菜味道很好，服务态度也不错。" 等变体。
+- 核心：使用 `nlpcda` 对中文文本做拼写扰动、同义改写、字词替换等增强，增加语料多样性。
diff --git a/attach/operator_docs/optimize_instruction_mapper.md b/attach/operator_docs/optimize_instruction_mapper.md
@@ -0,0 +1,4 @@
+优化 Instruction（`optimize_instruction_mapper`）
+- 输入："写一个简单的鱼香肉丝做法。"
+- 输出：更完整的任务描述，例如："请提供一份包含详细食材、步骤、火候说明和注意事项的鱼香肉丝菜谱。"
+- 核心：利用如 Qwen2-7B-Instruct-Refine 的模型，将短指令扩写为结构清晰、约束更明确的长指令，提升指令数据质量。
diff --git a/attach/operator_docs/perplexity_filter.md b/attach/operator_docs/perplexity_filter.md
@@ -0,0 +1,4 @@
+困惑度范围过滤（`perplexity_filter`）
+- 输入：一批文本样本及对应语言模型。
+- 输出：只保留 PPL 小于指定最大值的样本。
+- 核心：用语言模型计算困惑度，过滤语法/语义异常的低质量文本。
diff --git a/attach/operator_docs/pipeline_magpie_zh_mapper.md b/attach/operator_docs/pipeline_magpie_zh_mapper.md
@@ -0,0 +1,5 @@
+相似去重对话生成（`pipeline_magpie_zh_mapper`）
+- 输入：种子问答/指令数据集（中文）。
+- 输出：多轮中文对话数据，已合并/剔除高度相似样本。
+- 核心：利用 DeepSeek-v2.5 或 Qwen2.5 等模型及一组设计好的 `system_prompt`，批量生成多任务、多轮对话；同时对生成结果做相似度对比和去重，得到更丰富但去冗的对话语料。
+
diff --git a/attach/operator_docs/punctuation_normalization_mapper.md b/attach/operator_docs/punctuation_normalization_mapper.md
@@ -0,0 +1,4 @@
+Unicode 标点规范化（`punctuation_normalization_mapper`）
+- 输入："Hello！这是一个"测试"。"
+- 输出："Hello! 这是一个"测试"."
+- 核心：将全角/特殊 Unicode 标点映射为标准 ASCII 标点，避免分词和 token 统计时受到干扰。
diff --git a/attach/operator_docs/random_selector.md b/attach/operator_docs/random_selector.md
@@ -0,0 +1,4 @@
+随机样本选择器（`random_selector`）
+- 输入：任意数据集。
+- 输出：随机抽取的 k 条（或指定比例）样本。
+- 核心：用于快速抽样、构造小规模调试集或平衡不同数据源占比。
diff --git a/attach/operator_docs/range_specified_field_selector.md b/attach/operator_docs/range_specified_field_selector.md
@@ -0,0 +1,4 @@
+排序范围选择器（`range_specified_field_selector`）
+- 输入：包含连续数值字段（如得分、长度）的样本集合。
+- 输出：根据字段从小到大排序后，选取指定区间（如中间 20%）的样本。
+- 核心：在排序后的序列上按位置范围窗口截取，做分位抽样或区间选择。
diff --git a/attach/operator_docs/remove_bibliography_mapper.md b/attach/operator_docs/remove_bibliography_mapper.md
@@ -0,0 +1,4 @@
+移除参考书目信息（`remove_bibliography_mapper`）
+- 输入：包含 `\\bibliography{...}` 或参考文献环境的 LaTeX 文档。
+- 输出：去除末尾参考文献信息后的正文文本。
+- 核心：按照 LaTeX 结构识别并删除参考书目段落，减少引用列表对语料统计的影响。
diff --git a/attach/operator_docs/remove_comments_mapper.md b/attach/operator_docs/remove_comments_mapper.md
@@ -0,0 +1,4 @@
+移除评论信息（`remove_comments_mapper`）
+- 输入：带有大量注释的代码/TeX 文本。
+- 输出：注释被移除后的源码 / 正文。
+- 核心：依语言注释规则（如 `%`、`//`、`/* */` 等）检测并移除注释行或块，目前主要支持 LaTeX/部分代码场景。
diff --git a/attach/operator_docs/remove_header_mapper.md b/attach/operator_docs/remove_header_mapper.md
@@ -0,0 +1,4 @@
+移除文件头（`remove_header_mapper`）
+- 输入：带有标题、作者、摘要等前置信息的 LaTeX 文档。
+- 输出：去掉文档头部结构后保留正文内容的文本。
+- 核心：基于章节/标题模式，删除文件开头的头部区域，聚焦主体内容。
diff --git a/attach/operator_docs/remove_long_words_mapper.md b/attach/operator_docs/remove_long_words_mapper.md
@@ -0,0 +1,4 @@
+移除长字符串（`remove_long_words_mapper`）
+- 输入：含有超长 token 的文本，如一大串无空格字符。
+- 输出：超出长度阈值的单词被移除或替换后的文本。
+- 核心：按设定最小/最大长度过滤单词，去掉异常长的字符串（如垃圾 URL、编码片段）。
diff --git a/attach/operator_docs/remove_non_chinese_character_mapper.md b/attach/operator_docs/remove_non_chinese_character_mapper.md
@@ -0,0 +1,4 @@
+移除非中文字符（`remove_non_chinese_character_mapper`）
+- 输入："This is English，混合123和符号@#。"
+- 输出："混合和符号。"（保留中文，可配置保留部分数字或标点）
+- 核心：按 Unicode 范围保留中文字符，删除非中文字符，用于构造纯中文语料。
diff --git a/attach/operator_docs/remove_repeat_sentences_mapper.md b/attach/operator_docs/remove_repeat_sentences_mapper.md
@@ -0,0 +1,4 @@
+句子去重（`remove_repeat_sentences_mapper`）
+- 输入："今天天气很好。今天天气很好。我们去公园散步。"
+- 输出："今天天气很好。我们去公园散步。"
+- 核心：按句子级别去重（基于完全相同内容），减少重复样本。
diff --git a/attach/operator_docs/remove_specific_chars_mapper.md b/attach/operator_docs/remove_specific_chars_mapper.md
@@ -0,0 +1,4 @@
+特殊字符清理（`remove_specific_chars_mapper`）
+- 输入："◆新品上市●限时优惠■请关注►更多信息"
+- 输出："新品上市限时优惠请关注更多信息"
+- 核心：删除一组指定的特殊符号（◆●■►▼▲▴∆▻▷❖♡□ 等），让文本更干净。
diff --git a/attach/operator_docs/remove_table_text_mapper.md b/attach/operator_docs/remove_table_text_mapper.md
@@ -0,0 +1,4 @@
+表格内容清理（`remove_table_text_mapper`）
+- 输入：带有多行对齐表格的文本片段。
+- 输出：去除表格内容，仅保留普通段落文字。
+- 核心：利用正则根据列数和对齐模式检测疑似表格区域并删除，主要面向金融/日志类文本。
diff --git a/attach/operator_docs/remove_words_with_incorrect_substrings_mapper.md b/attach/operator_docs/remove_words_with_incorrect_substrings_mapper.md
@@ -0,0 +1,4 @@
+子字符串清理（`remove_words_with_incorrect_substrings_mapper`）
+- 输入："abcERROR123 正常词 test_BAD_word"
+- 输出："正常词"
+- 核心：删除包含指定不合法子串（如 ERROR、BAD）的单词，可用于过滤带敏感/错误片段的 token。
diff --git a/attach/operator_docs/replace_content_mapper.md b/attach/operator_docs/replace_content_mapper.md
@@ -0,0 +1,4 @@
+文本替换（`replace_content_mapper`）
+- 输入："用户手机号为 13800001234。"
+- 输出："用户手机号为 [MASK]。"
+- 核心：使用用户提供的正则模式与替换字符串，将匹配内容替换为统一占位符或新文本。
diff --git a/attach/operator_docs/sentence_split_mapper.md b/attach/operator_docs/sentence_split_mapper.md
@@ -0,0 +1,4 @@
+句子分割（`sentence_split_mapper`）
+- 输入："今天下雨所以路上有点堵但是我还是按时到了公司。"
+- 输出："今天下雨，所以路上有点堵。但是我还是按时到了公司。"（或分句列表）
+- 核心：根据标点和语言模型，对长句进行合理分句，便于后续过滤和统计。
diff --git a/attach/operator_docs/special_characters_filter.md b/attach/operator_docs/special_characters_filter.md
@@ -0,0 +1,4 @@
+特殊字符比例过滤（`special_characters_filter`）
+- 输入：含有 Emoji / 罕见符号等的文本样本。
+- 输出：特殊字符比例在指定区间内的样本。
+- 核心：定义特殊字符集合，统计比例并按阈值过滤。
diff --git a/attach/operator_docs/specified_field_filter.md b/attach/operator_docs/specified_field_filter.md
@@ -0,0 +1,4 @@
+字段信息过滤（`specified_field_filter`）
+- 输入：结构化样本（例如含有 `lang`, `source`, `domain` 字段）。
+- 输出：只保留字段值属于目标集合（如 `lang in ["zh","en"]`）的样本。
+- 核心：按字段取值做 whitelist 过滤。
diff --git a/attach/operator_docs/specified_numeric_field_filter.md b/attach/operator_docs/specified_numeric_field_filter.md
@@ -0,0 +1,4 @@
+数值字段范围过滤（`specified_numeric_field_filter`）
+- 输入：带有数值字段（如评分、长度、点击量等）的样本。
+- 输出：只保留该数值落在给定范围内的样本。
+- 核心：对数值字段做区间过滤，可用于筛选高评分样本等。
diff --git a/attach/operator_docs/stopwords_filter.md b/attach/operator_docs/stopwords_filter.md
@@ -0,0 +1,4 @@
+停用词比例过滤（`stopwords_filter`）
+- 输入：自然语言句子集合。
+- 输出：停用词（如"的、了、和"等）比例高于某阈值的样本。
+- 核心：停用词比例过低常见于噪声文本（如乱序 token），通过该算子过滤这类异常文本。
diff --git a/attach/operator_docs/suffix_filter.md b/attach/operator_docs/suffix_filter.md
@@ -0,0 +1,4 @@
+特殊后缀过滤（`suffix_filter`）
+- 输入：带有文件名或字段后缀的样本。
+- 输出：只保留后缀在白名单（如 `.py`、`.md`）内的样本。
+- 核心：基于字段后缀做白名单过滤，常用于代码/文件数据集。
diff --git a/attach/operator_docs/text_action_filter.md b/attach/operator_docs/text_action_filter.md
@@ -0,0 +1,4 @@
+动作文本过滤（`text_action_filter`）
+- 输入：各种自然语言句子。
+- 输出：只保留包含"做什么事/执行动作"内容的句子。
+- 核心：通过依存句法或规则识别包含动词/动作结构的文本，筛出可执行指令或步骤类数据。
diff --git a/attach/operator_docs/text_bloom_filter.md b/attach/operator_docs/text_bloom_filter.md
@@ -0,0 +1,12 @@
+数据 Bloom 过滤去重（`text_bloom_filter`）与生成数据聚合（`gather_generated_data_filter`）
+- 输入：可能包含重复内容的大规模文本流，或由生成算子输出的 `instruction/response` 对话数据。
+- 输出：
+  - 经 `text_bloom_filter` 过滤后，仅保留首见文本；
+  - 经 `gather_generated_data_filter` 清洗后，得到带有 `conversation` 字段的一问一答对话，并去掉 prompt 为空或重复的样本。
+- 核心：
+  - `text_bloom_filter`：对 `text` 做哈希写入可扩展 BloomFilter，用哈希是否已存在判断是否是重复样本，再决定是否保留。
+  - `gather_generated_data_filter`：
+    - 从 `instruction`/`response` 中去掉 `||`、`<|im_end|>` 噪声标记并裁剪空白。
+    - 构造标准 `conversation=[{"role":"user"...},{"role":"assistant"...}]` 结构。
+    - 用一个集合跟踪 `first_prompt` 是否已出现，过滤掉 conversation 为空或 prompt 重复的样本。
+
diff --git a/attach/operator_docs/text_entity_dependency_filter.md b/attach/operator_docs/text_entity_dependency_filter.md
diff --git a/attach/operator_docs/text_high_score_filter.md b/attach/operator_docs/text_high_score_filter.md
diff --git a/attach/operator_docs/text_length_filter.md b/attach/operator_docs/text_length_filter.md
diff --git a/attach/operator_docs/token_num_filter.md b/attach/operator_docs/token_num_filter.md
diff --git a/attach/operator_docs/topk_specified_field_selector.md b/attach/operator_docs/topk_specified_field_selector.md
diff --git a/attach/operator_docs/whitespace_normalization_mapper.md b/attach/operator_docs/whitespace_normalization_mapper.md
diff --git a/attach/operator_docs/word_repetition_filter.md b/attach/operator_docs/word_repetition_filter.md
diff --git a/attach/operator_docs/words_num_filter.md b/attach/operator_docs/words_num_filter.md
diff --git a/data_celery/datasource/hive/tasks.py b/data_celery/datasource/hive/tasks.py
diff --git a/data_celery/formatify/tasks.py b/data_celery/formatify/tasks.py
diff --git a/data_engine/exporter/csghub_exporter.py b/data_engine/exporter/csghub_exporter.py
diff --git a/data_engine/tools/postprocess/data_mixture_postprocess.py b/data_engine/tools/postprocess/data_mixture_postprocess.py
diff --git a/data_engine/tools/preprocess/md_to_jsonl_preprocess.py b/data_engine/tools/preprocess/md_to_jsonl_preprocess.py
diff --git a/data_server/algo_templates/utils/parse_algo_dslText.py b/data_server/algo_templates/utils/parse_algo_dslText.py
diff --git a/data_server/api/endpoints/datasource.py b/data_server/api/endpoints/datasource.py
diff --git a/data_server/api/endpoints/formatify.py b/data_server/api/endpoints/formatify.py
diff --git a/data_server/api/endpoints/job.py b/data_server/api/endpoints/job.py
diff --git a/data_server/api/endpoints/operator.py b/data_server/api/endpoints/operator.py
diff --git a/data_server/database/initializer.py b/data_server/database/initializer.py
diff --git a/data_server/database/session.py b/data_server/database/session.py
diff --git a/data_server/datasource/DatasourceModels.py b/data_server/datasource/DatasourceModels.py
diff --git a/data_server/datasource/services/connectors/hive.py b/data_server/datasource/services/connectors/hive.py
diff --git a/data_server/job/JobsManager.py b/data_server/job/JobsManager.py
diff --git a/data_server/job/branch_tool.py b/data_server/job/branch_tool.py
diff --git a/data_server/operator/schemas.py b/data_server/operator/schemas.py
