是否考虑集成LazyGraphRAG

[zlh1992]

开启配置，使用llm的阶段在索引/only query这样

[tpoisonooo]

你是说，刚运行的时候：

• 不连接图谱
• 不加载 workdir
• 不 load bce 模型

需要检索的时候，再初始化句柄。

给 class 套个 decorator 应该就行，等我忙完改吧改吧。

[zlh1992]

这是工程结构上的变动。我想说可否用一些传统nlp实体抽取的模型来抽实体。传统实体消歧，合并的方式替代掉index步骤大量的token开销。后来我看了下lazyGraphRAG还没开源..您也可以先hold再看下

[zlh1992]

FastGraphRAG这个项目的PageRank搜索feature也可以考虑借鉴下

[tpoisonooo]

• 用 NLP 做 NER 是落到具体项目上才做的事情，会省时间。但是你难免还是要训一个专有 NER 模型
• fastGraphRAG wkk

[tpoisonooo]

FastGraphRAG这个项目的PageRank搜索feature也可以考虑借鉴下

搜了下实现，fast-graphrag 引入 pagerank 这个行为，目前在 HuixiangDou2 有类似（但更粗糙）的代码：

    all_edges_degree = await asyncio.gather(*[
        knowledge_graph_inst.edge_degree(e._sid, e._tid) for e in all_edges
    ])
    all_edges_data = [{
        "src_tgt": k,
        "rank": d,
        **v.props
    } for k, v, d in zip(all_edges, all_edges_pack, all_edges_degree)
                      if v is not None]
    all_edges_data = sorted(all_edges_data,

https://github.com/tpoisonooo/HuixiangDou2/blob/802e005a7e936f7b582bf94f863a536407d656bb/huixiangdou/service/retriever/knowledge.py#L180C9-L189

先取图里每个 node 的 degree，结果按 degree 排序。

当然 pagerank 更精密。

[tpoisonooo]

在 RAG 系统里引入 PageRank， page 间的联系来自 NER。

实质是在检索期间，引入分布偏见（越常用的词汇，rank越靠前）。 如果 RAG 输入的问题全是难例，会导致精度下降。

[tpoisonooo]

cc @zlh1992

[highkay]

这是工程结构上的变动。我想说可否用一些传统nlp实体抽取的模型来抽实体。传统实体消歧，合并的方式替代掉index步骤大量的token开销。后来我看了下lazyGraphRAG还没开源..您也可以先hold再看下

glm4-flash挺适合做这个的，而且纯免费，速度和并发都不错，如果没有数据安全原因的话，用工程上的简洁性换一些token开销是值得的。

[tpoisonooo]

lazyGraphRAG 宣发了。 这么做很适合产品化... 但大模型初衷有点违背。