智能路由在多协议场景下，无法根据协议区分同标识符的模型，导致路由目标不明确

[killbus]

一、问题描述 (Summary)

在一个支持多协议（如 OpenAI, Anthropic）的 Provider下，如果存在两个“模型标识符”相同但“协议”不同的模型，当前的智能路由机制仅根据“模型标识符”或“模型名称”进行模糊匹配。这导致路由无法区分协议，可能会将一个使用 OpenAI 协议的客户端请求错误地路由到 Anthropic 协议的模型上，从而引发协议不兼容的错误。

二、复现步骤 (Steps to Reproduce)

1. 创建 Provider:

   • 名称: org-a
   • 支持的协议: OpenAI, Anthropic

2. 添加两个模型:

   • 模型 A:
     • 模型名称: openai/claude-sonnet-4-5
     • 模型标识符: claude-sonnet-4-5-20250929
     • 协议: OpenAI
   • 模型 B:
     • 模型名称: anthropic/claude-sonnet-4-5
     • 模型标识符: claude-sonnet-4-5-20250929
     • 协议: Anthropic
   • 注意：这两个模型拥有完全相同的 模型标识符。

3. 配置智能路由:

   • 路由名称: claude-sonnet-4-5
   • 路由目标: 选择所有包含 claude-sonnet-4-5-20250929 标识符的模型。

4. 发起请求:

   • 使用一个标准的 OpenAI 客户端（例如，遵循 OpenAI API 格式的请求），向智能路由 claude-sonnet-4-5 发起调用。

三、当前行为 (Current Behavior)

1. 执行逻辑: 当智能路由接收到请求后，它会使用 Array.prototype.find() 方法在 providerModels 列表中查找匹配的模型。

2. 匹配条件: 匹配的条件是模型的 model_identifier 或 name 与路由目标中指定的模型字符串相等。

3. 选取结果: 会选择列表中第一个满足条件的对象。

      resolvedModel = providerModels.find(m =>
        m.is_virtual !== 1 && (
          m.model_identifier === selectedTarget.override_params!.model ||
          m.name === selectedTarget.override_params!.model
        )
      );
   

我们需要在该查找过程补充模型的 protocol 属性校验吗？或者 复现步骤 中是否存在不合理, 不符合项目设计预期的内容？

[sxueck]

太苛刻了这个场景，可以修改模型名称以规避重复，例如 anthropic/claude-sonnet-4-5-openai / anthropic/claude-sonnet-4-5-claude

[killbus]

太苛刻了这个场景，可以修改模型名称以规避重复，例如 anthropic/claude-sonnet-4-5-openai / anthropic/claude-sonnet-4-5-claude

模型标识符 相同呢？

[sxueck]

这里有一个前提，即智能路由是不允许多个协议的模型进行均衡的，这不是硬性限制，而是只有在同一个端口下，例如 全是 /v1/messages 进行负载均衡才有意义，要么全是 openai 要么全是 anthropic，而当前的智能路由的唯一性保证是 provider_id + model_identifier，所以在同一供应商下相同的协议相同的模型标识符，其实就是一个模型

[killbus]

是。所以，我们的目的是 同一个供应商不同协议的同名模型使用不同的标识符？但按照当前的逻辑，模型标识符 是用来绑定上游无法变更的吧？

[sxueck]

嗯，我现在也遇到了这个需求或者说类似的需求，即某个供应商提供一个模型的不同协议接口，例如 x 站同时提供 GPT5.1 的 /v1/messages 和 /v1/responses，而受限于单个供应商的同名模型不能被配置为不同协议的规范，会出现配置上的冲突，这样我想实现一个网关同时提供两种请求的代理就不太现实，我想一下这个问题怎么处理
@killbus

[sxueck]

目前我是创建了两个供应商，一个叫 x-openai，另外一个是 x-anthropic，这个分开重复定义，只是模型协议不同

[killbus]

目前我是创建了两个供应商，一个叫 x-openai，另外一个是 x-anthropic，这个分开重复定义，只是模型协议不同

是，在供应商没有 多协议 这个功能之前我也是这样做的，所以确实不确定应该如何实践。我在使用 litellm 也遇到类似的情况。

设想：

1. 识别 incomingRequestProtocol, model identity 应该完整包含 provider_id / protocol / model_identifier

[li2-aga]

有没有残废级喂饭使用教程,小白有点难上手这个这么好的项目

[sxueck]

有没有残废级喂饭使用教程,小白有点难上手这个这么好的项目

你可以使用 Docker 部署，亲自上手体验一下，页面还是非常友好的，从基础功能到高阶功能在页面都有对应的提示，如果在实际使用中有任何不清晰的地方，可以单独开一个issue问我即可