关于知识库的多项问题

[bihongcui876]

1. 本平台经docker本地部署以后，在配置时候经常出现不协调或报故障的情况，怀疑系其对内存之协调有实质性问题。
2. 当创建知识库时，不那么大的文件时而也出现错误，测试模型包括：bge-1,5，bge其他系列，embedding-3，embedding-2，embedding-1等，目前使用embedding-3，其出现严峻的导入问题包括但不限于1.5MB及以上大小PDF甚至TXT甚至CSV无法导入等，要知晓JetBrains公司之IDE无法对代码纠错之限制已有2.56MB。且其标出之文件类别，诸多无法完美支持。
3. 既有成功导入者，故而需要答复。仅仅这一点点文件远不可称为知识库，只是文漂而已。
4. 请解释“等待入库”时，到底在等待什么。测试37次后，证明等待的结果必定是“入库失败”。
5. 附图

6. HERE'S NO ENGLISH VERSION, AND PLEASE SOMEONE CAN SPEAK CHINESE SINCERELY AND REALLY SHOW CHINESE REPLY TO ANSWER THE QUESTION.

[bihongcui876]

附1：其余类似问题至今没有完美解答。
附2：pdf多是教科书、论文等。
附3：经过邮箱向本人推介的讨论微信群让几乎所有人来这边讨论（GITHUB discussion）
附4：txt包含文章、信息，csv包含表格信息和诊断问答

[bihongcui876]

您好。很高兴能看到经由交互的回复。
本问题目前以“传入CSV或XLS/XLSX表格型文件”直接解决，这个解决办法在本人先前的项目中也有用上。本来希望有传一些PDF、DOC、TXT格式的书本，但成功率很低，基本上都是我如图状况（GITHUB中discussion中的样子），在翻覆上传一些血尿粪常规检测标准文件后，便不再以非表单、表格形式上传。然后两个试验过的模型：bge-m3（BAAI）和Embedding-3（开放大模型）全部有出现这个问题；这两个模型全部不是我本地化部署的，所以也没有什么基于这两个的报错与后台。

此外就是Nexent的docker后台，这边“入库失败”出错应该是nexent-data-process出错了。

据我所知，这边项目目前使用的Embedding-3的能力比bge-m3要强，但都能解析内容完全基于文字格式的文件，如果出现问题基本不可能是链接问题。
但实际操作中50MB以上的CSV文件都可以上传、解析成功、入库成功。

传入文件和后台信息（仅nexent-data-process）放在附件（attach files），在github中点击链接是直接下载。传入文件系微信交流群近乎一个月前推荐的一个外国大学的医学网站上的可下载信息书籍。
docker后台报错信息整合.txt
退行性免疫缺陷综合征病理书AIDS2025.pdf

[Jasonxia007]

你好，我们近期收到了不少类似的错误报告，但都已解决。附件的文档在我的本地环境中已成功写入知识库。

Nexent知识库处理文档的行为包括：文本提取、向量化、向量入库两步。文件状态进入“入库中”表明文本提取成功，但向量化时出现了问题。说明错误与文档类型关系不大，我们应重点关注 Embedding 模型的可用性。

近期硅基流动的模型服务由于负载过高，非常不稳定。如果你选择继续使用它作为模型服务供应商，请在知识库处理过程中检查 nexent-config 容器中是否连续出现 Service Unavailable / Forbidden / Max retries exceeded 等报错信息，确保模型服务持续可用。（对于大文件而言，分片更多，请求数多，途中发生中断的可能性也更高。虽然 Nexent 会自动重试，但连续三次请求被拒绝将导致向量化进程强制终止）
你可以尝试切换到 阿里云百炼 / 小马算力 / Jina原生服务 来进行向量化处理。这些模型提供商近期相对稳定，且都提供了免费试用额度。

另外，你可以尝试完整升级 Nexent 平台，具体操作参考 手册 中步骤一、二。如果问题依然存在，你可以贴一下 nexent-config 中的日志信息，以便我们进一步分析。

[Rhapsody0x1]

我已经尝试了从硅基流动迁移到阿里百炼，但问题依然存在。

上传文档后知识库依然为空。

下面是nexent-data-processor容器和nexent-config中的logs

[06:53:20 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:20 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:20 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:20 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:20 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:22 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:22 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:22 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
[06:53:22 ERROR data_process.utils] Failed to load result.info as a json: Expecting value: line 1 column 1 (char 0)
...

---

[06:45:12 INFO model_health_service] CONNECTED: text-embedding-v4; Base URL: https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings; API Key: sk-7*****3
INFO:     172.18.0.6:43418 - "POST /api/model/healthcheck?display_name=Qwen3-Embedding-v4 HTTP/1.1" 200 OK
INFO:     172.18.0.6:53252 - "GET /api/tenant_config/deployment_version HTTP/1.1" 200 OK
INFO:     172.18.0.6:53246 - "GET /api/indices/health HTTP/1.1" 200 OK
INFO:     172.18.0.6:53266 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:53274 - "GET /api/indices/check_exist/%E6%96%B0%E7%9F%A5%E8%AF%86%E5%BA%93 HTTP/1.1" 200 OK
INFO:     172.18.0.6:39224 - "GET /api/indices/check_exist/test HTTP/1.1" 200 OK
INFO:     172.18.0.6:39240 - "GET /api/indices/check_exist/testKB HTTP/1.1" 200 OK
INFO:     172.18.0.6:39248 - "GET /api/indices/check_exist/testkv%20b HTTP/1.1" 200 OK
INFO:     172.18.0.6:39254 - "GET /api/indices/check_exist/testkb HTTP/1.1" 200 OK
INFO:     172.18.0.6:39262 - "GET /api/indices HTTP/1.1" 200 OK
INFO:     172.18.0.6:39266 - "GET /api/indices/health HTTP/1.1" 200 OK
[06:53:15 INFO elasticsearch_core] Successfully created index: testkb
INFO:     172.18.0.6:39278 - "POST /api/indices/testkb HTTP/1.1" 200 OK
[06:53:17 WARNING file_management_utils] No tasks found for index 'testkb'
INFO:     172.18.0.6:39282 - "POST /api/file/upload HTTP/1.1" 200 OK
INFO:     172.18.0.6:39296 - "POST /api/file/process HTTP/1.1" 201 Created
[06:53:18 WARNING file_management_utils] No tasks found for index 'testkb'
INFO:     172.18.0.6:39310 - "GET /api/indices/testkb/files HTTP/1.1" 200 OK
INFO:     172.18.0.6:39326 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:43666 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:39330 - "GET /api/indices/testkb/files HTTP/1.1" 200 OK
[06:53:20 WARNING file_management_utils] No tasks found for index 'testkb'
INFO:     172.18.0.6:43676 - "GET /api/indices/health HTTP/1.1" 200 OK
INFO:     172.18.0.6:43680 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:43692 - "GET /api/tenant_config/load_knowledge_list HTTP/1.1" 200 OK
INFO:     172.18.0.6:43696 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:43708 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
[06:53:22 WARNING file_management_utils] No tasks found for index 'testkb'
INFO:     172.18.0.6:43700 - "GET /api/indices/testkb/files HTTP/1.1" 200 OK
INFO:     172.18.0.6:43716 - "GET /api/indices/health HTTP/1.1" 200 OK
INFO:     172.18.0.6:43728 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK
INFO:     172.18.0.6:43740 - "GET /api/indices?include_stats=true HTTP/1.1" 200 OK

[bihongcui876]

不论怎么讲，就本问题而言，本人观点系：暂还是用CSV或Excel文件格式，诸任何平台皆可适应。
此外，目前负责项目依然主要使用1.5.7.1版本，因1.5.7.2版本部署出现问题，并且暂时不希望重新耗费大量数据测试1.5.7.3版本的可用性。
更换模型不一定会有巨大优势，还是清洗数据库更有效果一些。不过希望平台方能够修一下平台上面对多模态处理和诸如PDF、PPT文件的解析。

[Rhapsody0x1]

不论怎么讲，就本问题而言，本人观点系：暂还是用CSV或Excel文件格式，诸任何平台皆可适应。 此外，目前负责项目依然主要使用1.5.7.1版本，因1.5.7.2版本部署出现问题，并且暂时不希望重新耗费大量数据测试1.5.7.3版本的可用性。 更换模型不一定会有巨大优势，还是清洗数据库更有效果一些。不过希望平台方能够修一下平台上面对多模态处理和诸如PDF、PPT文件的解析。

我目前没诊断出来到底是哪里的问题，任何文件上传都是失败的，根本没有成功入库