[RFC] 041 - 多模型服务商三期： 二线 Providers 支持 / OpenAI Compatible 模型服务商

[arvinxx]

在 #737 上线后，我们在短短 2 个月内完成了 10+ 模型服务商的支持！ 这完全仰仗了社区诸多小伙伴的努力，才让 LobeChat 在这么短的时间内就快速完成了这么多 Provider 的支持，非常感谢~

根据之前预判的节奏，过去两个月相当于做了整个二期的工作：

等 6 月会计划开始做多模型服务商的三期，在此先把 RFC 写了，和大家一同探讨一下接下来要做的事情。

背景

二线 Provider

虽然主流的 10+ providers 已经足够 80% 的场景使用。 但是目前仍然有不少 Provider 由于其神奇脑回路的 API 设计，没法低成本接入。

例如：

• Google Vertex AI
• 百度文心一言
• 讯飞星火

而本期就需要找到参考实现，将它们集成进 LobeChat 中（视成本，可能会考虑仅在 Cloud 版中提供）。

OpenAI Compatible 模型服务商

其实现在的主流趋势还是很明显的，大家都在往 OpenAI 接口兼容方向做，因此提供一个添加自定义 OpenAI 兼容服务商的需求就会比较强烈。

• [Request] 增加兼容OpenAI的自定义模型 #1985
• 2024 Model Providers support | 2024 年模型服务商支持 #1284 (comment)
• 2024 Model Providers support | 2024 年模型服务商支持 #1284 (reply in thread)
• [Request] 模型的stream功能开关 #802 （在 OpenAI 兼容里支持开关）
• [Request] OpenAI API Multi-Source Aggregation #2906

完整集成链路代码优化

在 #1916 里已经初步完成了一轮代码简化，目前 provider 的开发已经无需感知 token 传递、providerConfig 的独立实现等相对细节的问题，但是仍然存在需要自定义 RuntimeError 、 error message 等问题，这需要进一步精简代码实现，理论上所有的 RuntimeError 应该可以抽象为精简的几类，这样无需再做没必要的扩展。

Agent Runtime 抽包为独立模块

等知识库部分做完，到时候应该就能相对完善得总结出来一个 agent runtime 需要提供的方法了，到时候就可以把 Agent Runtime 的标准方法定义出来。并将现在的包抽取成一个独立的 npm 模块，供社区在其他业务场景下使用。

Model Card 在产品中更细节的应用

比如 max_token

• [Bug] zhipu智谱glm启用max_tokens出错code 1214 #1398

[arvinxx]

Agent Runtime 抽包为独立模块将暂时在后续 RFC 中单独实现