Error: 自定义供应商（Xinference/sgLang）的模型不能进行工具调用

[doit-5618]

1️⃣ 描述一下问题

目前采用3个模型供应商api：
云：硅基流动
本地：Xinference、sglang
其中，硅基流动的模型，均可以进行工具调用，且询问可以使用哪些工具也会将已经配置的工具list进行输出。但是本地部署的模型在询问相同问题，不能显示已经配置的工具list。
本地部署模型均支持工具调用。

以下对话，我只配置了一个计算器工具。
硅基流动、sglang：（硅基流动的功能正常。sglang不能识别到配置的工具。）

Xinference：（能识别到配置的工具，但不能调用。只会输出Schema）

[doit-5618]

为了严谨，新开一个会话，进行sglang部署的模型对话。仍然无法输出工具信息...

[doit-5618]

请问，这可能是哪里存在问题？

[xerrors]

目前自定义供应商走的都是 langchain 的 chatopenai 这个类，可能会有没适配兼容的地方，可以尝试调整为 chatdeepseek

Yuxi-Know/src/agents/common/models.py

Lines 30 to 57 in abf4414

	if provider in ["openai", "deepseek"]:
	model_spec = f"{provider}:{model}"
	logger.debug(f"[offical] Loading model {model_spec} with kwargs {kwargs}")
	return init_chat_model(model_spec, **kwargs)
	elif provider in ["dashscope"]:
	from langchain_deepseek import ChatDeepSeek
	return ChatDeepSeek(
	model=model,
	api_key=SecretStr(api_key),
	base_url=base_url,
	api_base=base_url,
	stream_usage=True,
	)
	else:
	try: # 其他模型，默认使用OpenAIBase, like openai, zhipuai
	from langchain_openai import ChatOpenAI
	return ChatOpenAI(
	model=model,
	api_key=SecretStr(api_key),
	base_url=base_url,
	stream_usage=True,
	)
	except Exception as e:
	raise ValueError(f"Model provider {provider} load failed, {e} \n {traceback.format_exc()}")

不够也不排除是部署端的问题，建议使用 open webui 或者 chatbox 等先验证一下模型部署的本身是否支持工具调用。如果在别的软件中能够正常调用，则说明是和 langchain 的适配问题。

[doit-5618]

目前自定义供应商走的都是 langchain 的 chatopenai 这个类，可能会有没适配兼容的地方，可以尝试调整为 chatdeepseek

Yuxi-Know/src/agents/common/models.py

Lines 30 to 57 in abf4414

if provider in ["openai", "deepseek"]:
model_spec = f"{provider}:{model}"
logger.debug(f"[offical] Loading model {model_spec} with kwargs {kwargs}")
return init_chat_model(model_spec, **kwargs)

elif provider in ["dashscope"]:
from langchain_deepseek import ChatDeepSeek

 return ChatDeepSeek( 
     model=model, 
     api_key=SecretStr(api_key), 
     base_url=base_url, 
     api_base=base_url, 
     stream_usage=True, 
 ) 

else:
try: # 其他模型，默认使用OpenAIBase, like openai, zhipuai
from langchain_openai import ChatOpenAI

     return ChatOpenAI( 
         model=model, 
         api_key=SecretStr(api_key), 
         base_url=base_url, 
         stream_usage=True, 
     ) 
 except Exception as e: 
     raise ValueError(f"Model provider {provider} load failed, {e} \n {traceback.format_exc()}") 

不够也不排除是部署端的问题，建议使用 open webui 或者 chatbox 等先验证一下模型部署的本身是否支持工具调用。如果在别的软件中能够正常调用，则说明是和 langchain 的适配问题。

感谢回复。我在cherry studio中验证了本地Xinference模型能够顺利完成MCP工具调用。

使用了ChatDeepSeek类后，仍然没有解决问题。

[xerrors]

目前还没有找到可行的方法，我本地也没有 这俩环境（Xinference/sgLang）😂

甚至我都没在网上找到 langchain 和 sglang 适配的相关文章