texttosql的llm_serving和embedding_serving可以使用不同的厂商吗？如果使用不同的厂商，那么不同的api_key 如何配置

[aqu415]

Feature Description / 功能描述

不同的模型厂商对应的 api key如何配置

System Info (dataflow env) / 系统信息（dataflow env）

llm_serving和embedding_serving可以使用不同的厂商吗

Additional Information / 其他补充

No response

[TechNomad-ds]

您好，感谢您对我们产品的关注！

在 Dataflow 中，llm_serving 和 embedding_serving 完全支持使用不同厂商的服务。

APILLMServing_request 类中提供了 key_name_of_api_key 参数，用于指定从环境变量中读取哪个 API Key（默认值为 DF_API_KEY）。通过为该参数赋予不同的环境变量名，您可以灵活地为不同的服务配置不同厂商的密钥。

具体操作如下，您可以用作参考：

1. 设置环境变量：在运行环境中分别配置两个厂商的 API Key（变量名可自定义）：

   export DF_API_LLM_KEY=sk-xxxxx   # llm_serving 使用的密钥（厂商 A）
   export DF_API_EMBED_KEY=sk-xxxxx # embedding_serving 使用的密钥（厂商 B）

2. 在 Pipeline 代码中指定：在pipeline代码文件中初始化两个服务实例时，通过 key_name_of_api_key 参数分别指向上面设置的环境变量：

   self.llm_serving = APILLMServing_request(
       api_url="https://api.openai.com/v1/chat/completions",  # 厂商 A 的 API 地址
       key_name_of_api_key="DF_API_LLM_KEY",                  # 对应厂商 A 的密钥
       model_name="gpt-4o",
       max_workers=100
   )
   
   self.embedding_serving = APILLMServing_request(
       api_url="https://api.openai.com/v1/embeddings",        # 厂商 B 的 API 地址
       key_name_of_api_key="DF_API_EMBED_KEY",                # 对应厂商 B 的密钥
       model_name="text-embedding-ada-002",
       max_workers=100
   )

配置完成后，即可实现不同服务调用不同厂商的 API。

[aqu415]

请问怎么确认这是哪一个接口404呢

[TechNomad-ds]

您好，感谢您的反馈！

关于您遇到的API连接报错，我注意到您使用的可能是较旧版本的DataFlow。我们在一个月前已经优化了相关代码，新版本在处理API连接错误时会提供更详细的错误信息，帮助您更快定位问题。

建议您尝试以下步骤：

1. 升级到最新版本的DataFlow
2. 重新运行您的代码，查看是否能够获取更具体的错误提示
3. 如果问题仍然存在，欢迎将新的错误信息提供给我们，我会继续帮您分析