[Feature Request]: 知识库功能完善：一个项目支持多个partition，RAG全链路功能完善

[vincenschan]

Do you need to file a feature request?

• I have searched the existing feature request and this feature request is not already filed.
• I believe this is a legitimate feature request, not just a question or bug.

Feature Request Description

可以新增或者完善的功能，可以直接用于工业落地：

1. 支持给定文件路径进行文件解析：S3、loacal；
2. 新增文档数据标准化解析与切片：word/pdf/html/markdown...文件格式，统一转MD，最优切片逻辑；
3. 支持自定义知识库：一个项目多个知识库，同时支持多个知识库增删改查，支持知识库不存在自动新建，embedding 索引构建支持其他索引方式，配置这块可以独立剥离出来，使得更灵活；
4. 重定义知识库字段结构：支持对话类型数据存储检索，后期可以直接当做memory使用，可以参考“mem0”；
5. 新增FastAPI相关测试接口；

Additional Context

No response

[vincenschan]

实现方式：
1.&2. 应该算是新增的功能，开源可以可借鉴的很多，由于不考虑LLM的size，所以感觉都不是那么好，在实际落地中，可用性不高。参考LLM的训练链路和数据格式，最好是统一转.md，基于标题符号综合构建，会是一个相对最优解；
3. 实现上，需要从lightrag.py处统一新增两个字段：collection & partition，经过chunk,insert，到入库（向量库+SQL），数据库部分（包含chunk_db, doc_db, embeding_db）需要新增两个字段。插入配置上目前是“HNSW”，部分配置在base.py，这块配置最好独立出来
4. 这个是我的一个设想，agent领域，memory有独立出来的趋势，本质上还是类似于RAG的快速检索；
5. RAG的测试example.