关于进行问答时多模态输入数据的处理问题

[Rhapsody0x1]

问题

在问答时，输入的图片等多模态数据无法被正确处理，如图所示：

当前的行为

图片似乎被Nexent平台尝试调用一个多模态模型来进行解析，但尽管已经配置了多模态模型并验证连接性，仍然会出错。

期望的行为

• 图片不应被 Nexent 平台调用多模态模型先进行解释，而是由模型自主决策
  • 例如，调用工具进行处理
  • 或者模型本身具有多模态能力，能直接处理图片信息
• 或至少，Nexent平台调用多模态模型解析后，仍能允许 Agent 自主决策是否要使用工具来处理。

环境与版本信息

• 平台：Debian (in WSL2, on Windows 11)，使用Docker按照说明进行本地部署
• Nexent版本：提交e27d265

相关的问题

之前已经有人在Discussion的#1761 This allows llm to use tools to process user-uploaded images.中指出一种可行的处理方式。

[Rhapsody0x1]

@Jasonxia007

[Jasonxia007]

Hi there! We have released this feature in v1.7.7. You can update Nexent and try it.