[Media Engine Streamlit App] 研究过程中发生错误: Error code: 400 - {'code': 20015, 'mess

[liuxin57135]

错误信息

研究过程中发生错误: Error code: 400 - {'code': 20015, 'message': 'length of prompt_tokens (4560) must be less than max_seq_len (4096).', 'data': None}

错误详情

Traceback (most recent call last):
  File "/app/SingleEngineApp/media_engine_streamlit_app.py", line 182, in execute_research
    agent._initial_search_and_summary(i)
  File "/app/SingleEngineApp/../MediaEngine/agent.py", line 285, in _initial_search_and_summary
    self.state = self.first_summary_node.mutate_state(
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/app/SingleEngineApp/../MediaEngine/nodes/summary_node.py", line 199, in mutate_state
    raise e
  File "/app/SingleEngineApp/../MediaEngine/nodes/summary_node.py", line 185, in mutate_state
    summary = self.run(input_data, **kwargs)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/app/SingleEngineApp/../MediaEngine/nodes/summary_node.py", line 116, in run
    raise e
  File "/app/SingleEngineApp/../MediaEngine/nodes/summary_node.py", line 103, in run
    response = self.llm_client.stream_invoke_to_string(
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/app/utils/retry_helper.py", line 89, in wrapper
    raise e
  File "/app/utils/retry_helper.py", line 77, in wrapper
    result = func(*args, **kwargs)
             ^^^^^^^^^^^^^^^^^^^^^
  File "/app/SingleEngineApp/../MediaEngine/llms/base.py", line 151, in stream_invoke_to_string
    for chunk in self.stream_invoke(system_prompt, user_prompt, **kwargs):
  File "/app/SingleEngineApp/../MediaEngine/llms/base.py", line 134, in stream_invoke
    raise e
  File "/app/SingleEngineApp/../MediaEngine/llms/base.py", line 120, in stream_invoke
    stream = self.client.chat.completions.create(
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/openai/_utils/_utils.py", line 286, in wrapper
    return func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/openai/resources/chat/completions/completions.py", line 1192, in create
    return self._post(
           ^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/openai/_base_client.py", line 1259, in post
    return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
                           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/openai/_base_client.py", line 1047, in request
    raise self._make_status_error_from_response(err.response) from None
openai.BadRequestError: Error code: 400 - {'code': 20015, 'message': 'length of prompt_tokens (4560) must be less than max_seq_len (4096).', 'data': None}

环境信息

• 应用: Media Engine Streamlit App
• 时间: 2026-01-13 07:39:11

[dosubot]

Hi @liuxin57135! I'm Dosu and I’m helping the BettaFish team.

这个 400 错误是因为发送给 LLM 的 prompt token 数量（4560）超过了模型最大限制（4096），导致 OpenAI API 拒绝请求。当前代码不会自动检测或截断 prompt 长度，超长就会直接报错。相关代码实现

推荐的解决办法：

1. 优先切换到支持更大 context window 的模型（如 deepseek-chat、qwen-plus 等），只需在 .env 或 config.py 里修改模型名和 API Key，重启服务即可。如果模型支持更大 max_seq_len，这样可以避免截断信息丢失。最佳实践参考
2. 如果暂时无法切换模型，需要在 MediaEngine/llms/base.py 的 stream_invoke 和 invoke 方法里，拼接好 messages 后，用 tiktoken 或 transformers 统计 token 数，超出限制时自动截断 user_prompt 或做内容压缩，保证总 token 数不超过模型上限。实现建议
3. 最大 token 限制建议做成可配置参数，方便不同模型灵活调整。
4. 目前项目里有基于字符长度的 truncate_content 工具，但这不能保证 token 不超限，建议用 tokenizer 精确控制。
5. 如果只能截断内容，建议优先缩短 search_results、content 等字段长度，减少信息损失。相关代码片段

如需参考上下文压缩的实现思路，可以看下 PR 360 的 apply_weight_compaction 方法。

总之，推荐优先升级大 context 模型，否则就要在 LLMClient 层加 token 统计和截断逻辑，避免 prompt 超长导致 400 错误。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

  

[liuxin57135]

[02:44:08] 2026-01-19 02:44:08.463 | ERROR | InsightEngine.nodes.summary_node:process_output:303 - JSON解析失败: Expecting ',' delimiter: line 1 column 101 (char 100) [02:44:08] 2026-01-19 02:44:08.463 | ERROR | InsightEngine.nodes.summary_node:process_output:311 - JSON修复失败，直接使用清理后的文本 [02:44:08] 2026-01-19 02:44:08.463 | INFO | InsightEngine.nodes.summary_node:run:273 - 成功生成反思总结 [02:44:08] 2026-01-19 02:44:08.463 | INFO | InsightEngine.nodes.summary_node:mutate_state:353 - 已更新段落 0 的反思总结 [02:44:08] 2026-01-19 02:44:08.463 | INFO | InsightEngine.agent:_reflection_loop:896 - 反思 2 完成 老师好，出现这个错误后长时间停顿，其他模块已经完成，要怎么解决？感谢

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2026年1月13日 15:45 | | 收件人 | ***@***.***> | | 抄送人 | ***@***.***>, ***@***.***> | | 主题 | Re: [666ghj/BettaFish] [Media Engine Streamlit App] 研究过程中发生错误: Error code: 400 - {'code': 20015, 'mess (Issue #548) | dosubot[bot] left a comment (666ghj/BettaFish#548) Hi @liuxin57135! I'm Dosu and I’m helping the BettaFish team. 这个 400 错误是因为发送给 LLM 的 prompt token 数量（4560）超过了模型最大限制（4096），导致 OpenAI API 拒绝请求。当前代码不会自动检测或截断 prompt 长度，超长就会直接报错。相关代码实现 推荐的解决办法： 优先切换到支持更大 context window 的模型（如 deepseek-chat、qwen-plus 等），只需在 .env 或 config.py 里修改模型名和 API Key，重启服务即可。如果模型支持更大 max_seq_len，这样可以避免截断信息丢失。最佳实践参考 如果暂时无法切换模型，需要在 MediaEngine/llms/base.py 的 stream_invoke 和 invoke 方法里，拼接好 messages 后，用 tiktoken 或 transformers 统计 token 数，超出限制时自动截断 user_prompt 或做内容压缩，保证总 token 数不超过模型上限。实现建议 最大 token 限制建议做成可配置参数，方便不同模型灵活调整。 目前项目里有基于字符长度的 truncate_content 工具，但这不能保证 token 不超限，建议用 tokenizer 精确控制。 如果只能截断内容，建议优先缩短 search_results、content 等字段长度，减少信息损失。相关代码片段 如需参考上下文压缩的实现思路，可以看下 PR 360 的 apply_weight_compaction 方法。 总之，推荐优先升级大 context 模型，否则就要在 LLMClient 层加 token 统计和截断逻辑，避免 prompt 超长导致 400 错误。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[dosubot]

你遇到的长时间停顿，根本原因是 LLM 返回内容格式不规范导致 JSON 解析失败，虽然 summary_node 里有兜底（清理文本、尝试修复、最终 fallback），但没有专门的超时或跳过机制，导致流程在解析或修复阶段可能被卡住，影响整体速度。当前 fallback 只是返回清理后的文本，流程不会完全中断，但如果 LLM 响应慢或修复逻辑复杂，还是会拖慢该节点进度，表现为“其他模块已完成但这里还在等”代码实现细节。

建议优化方式：

1. 在 process_output 或 run 方法里加超时控制（比如用 signal/alarm 或多线程超时），超时后直接 fallback，避免长时间等待。
2. 对于非关键 summary，可以用“优雅降级”策略（参考 retry_helper.py 的 with_graceful_retry），失败后直接跳过或返回默认值，保证流程整体不卡住retry_helper 机制。
3. 日志里建议明确标记 fallback 和耗时异常，方便后续定位。
4. 检查 LLM prompt，确保只要求返回纯 JSON，避免模型输出解释性内容或多余标签，能大幅减少解析失败相关讨论。

如需更强健的体验，建议在 summary_node 层加超时和“跳过”机制，保证单个节点异常不会拖慢全局流程。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

  

[liuxin57135]

老师您好，目前我的三个engine都停留在这里，是继续等待么？report engine穆齐安还是灰色的，感谢指导 [08:01:49] } [08:01:49] 2026-01-19 08:01:49.926 | INFO | InsightEngine.nodes.summary_node:process_output:301 - JSON解析成功 [08:01:49] 2026-01-19 08:01:49.927 | INFO | InsightEngine.nodes.summary_node:run:273 - 成功生成反思总结 [08:01:49] 2026-01-19 08:01:49.927 | INFO | InsightEngine.nodes.summary_node:mutate_state:353 - 已更新段落 0 的反思总结 [08:01:49] 2026-01-19 08:01:49.927 | INFO | InsightEngine.agent:_reflection_loop:896 - 反思 2 完成

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2026年1月19日 11:55 | | 收件人 | ***@***.***> | | 抄送人 | ***@***.***>, ***@***.***> | | 主题 | Re: [666ghj/BettaFish] [Media Engine Streamlit App] 研究过程中发生错误: Error code: 400 - {'code': 20015, 'mess (Issue #548) | dosubot[bot] left a comment (666ghj/BettaFish#548) 你遇到的长时间停顿，根本原因是 LLM 返回内容格式不规范导致 JSON 解析失败，虽然 summary_node 里有兜底（清理文本、尝试修复、最终 fallback），但没有专门的超时或跳过机制，导致流程在解析或修复阶段可能被卡住，影响整体速度。当前 fallback 只是返回清理后的文本，流程不会完全中断，但如果 LLM 响应慢或修复逻辑复杂，还是会拖慢该节点进度，表现为“其他模块已完成但这里还在等”代码实现细节。 建议优化方式： 在 process_output 或 run 方法里加超时控制（比如用 signal/alarm 或多线程超时），超时后直接 fallback，避免长时间等待。 对于非关键 summary，可以用“优雅降级”策略（参考 retry_helper.py 的 with_graceful_retry），失败后直接跳过或返回默认值，保证流程整体不卡住retry_helper 机制。 日志里建议明确标记 fallback 和耗时异常，方便后续定位。 检查 LLM prompt，确保只要求返回纯 JSON，避免模型输出解释性内容或多余标签，能大幅减少解析失败相关讨论。 如需更强健的体验，建议在 summary_node 层加超时和“跳过”机制，保证单个节点异常不会拖慢全局流程。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[dosubot]

你的三个 engine 长时间停留、report engine 变灰，说明流程已经卡住，继续等待一般不会自动恢复。常见原因包括：有 engine 没有生成新的 .md 报告文件、日志缺失、文件权限或 LLM 响应异常等，导致 report engine 一直处于“未就绪”状态，前端就会显示灰色（不可用）参考。

建议排查步骤如下：

1. 检查 insight_engine_streamlit_reports、media_engine_streamlit_reports、query_engine_streamlit_reports 这三个目录下是否都生成了新的 .md 文件。
2. 检查 logs/forum.log 是否存在。
3. 查看各 engine 的日志（如 insight.log、media.log、query.log），确认是否有报错、长时间无进展或进程卡死。
4. 检查 .env 配置（如 DB_HOST、API_KEY、模型名等）和文件/目录权限，确保没有配置或权限问题。
5. 如果发现有 engine 卡住、报错或文件缺失，建议修复后重启对应 engine 或整个服务。

目前 BettaFish 没有自动超时或死锁恢复机制，engine 卡住后只能手动干预参考。如果经常遇到“输入过长”或 LLM 卡死问题，可以关注即将上线的报告压缩功能（PR #551），或尝试缩短输入内容、升级大 context 模型。

总之，建议不要继续等待，先按上面步骤排查并重启，通常能恢复正常。如还有问题，可以贴出关键日志片段进一步定位。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

  

[liuxin57135]

谢谢

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2026年1月19日 16:14 | | 收件人 | ***@***.***> | | 抄送人 | ***@***.***>, ***@***.***> | | 主题 | Re: [666ghj/BettaFish] [Media Engine Streamlit App] 研究过程中发生错误: Error code: 400 - {'code': 20015, 'mess (Issue #548) | dosubot[bot] left a comment (666ghj/BettaFish#548) 你的三个 engine 长时间停留、report engine 变灰，说明流程已经卡住，继续等待一般不会自动恢复。常见原因包括：有 engine 没有生成新的 .md 报告文件、日志缺失、文件权限或 LLM 响应异常等，导致 report engine 一直处于“未就绪”状态，前端就会显示灰色（不可用）参考。 建议排查步骤如下： 检查 insight_engine_streamlit_reports、media_engine_streamlit_reports、query_engine_streamlit_reports 这三个目录下是否都生成了新的 .md 文件。 检查 logs/forum.log 是否存在。 查看各 engine 的日志（如 insight.log、media.log、query.log），确认是否有报错、长时间无进展或进程卡死。 检查 .env 配置（如 DB_HOST、API_KEY、模型名等）和文件/目录权限，确保没有配置或权限问题。 如果发现有 engine 卡住、报错或文件缺失，建议修复后重启对应 engine 或整个服务。 目前 BettaFish 没有自动超时或死锁恢复机制，engine 卡住后只能手动干预参考。如果经常遇到“输入过长”或 LLM 卡死问题，可以关注即将上线的报告压缩功能（PR #551），或尝试缩短输入内容、升级大 context 模型。 总之，建议不要继续等待，先按上面步骤排查并重启，通常能恢复正常。如还有问题，可以贴出关键日志片段进一步定位。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[dosubot]

不客气！有其他问题随时@我。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}