[Bug]: GLM 4.7 工具解析出错

[gbdjxgp]

Your current environment

使用的是双机910B,16卡，GLM-4.7-w8a8-with-float-mtp部署过程参考：https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/GLM4.x.html
针对opencode场景下调用“洛杉矶天气怎么样”之类的问题，模型输出的tool_calls格式不正确，且json格式不正确，导致tool_calls调用失败！

🐛 Describe the bug

针对opencode场景下调用“洛杉矶天气怎么样”之类的问题，模型输出的tool_calls格式不正确，且json格式不正确，导致tool_calls调用失败！

实际解析出来工具调用的json格式都不正确： 请求以及模型响应日志：

C1.txt
解析程序：

import json
s=json.load(open("C1.txt","r",encoding="utf-8")); STR=""
for xxx in s["response"]["raw_datalines"]:
    if xxx!="[DONE]" and (tc:=((json.loads(xxx).get("choices") or [{}])[0].get("delta",{}).get("tool_calls"))): STR+=tc[0].get("function",{}).get("arguments","")
print(STR)

cc: @yiz-liu

[realliujiaxu]

@aipaes please take a look

[gbdjxgp]

@aipaes @realliujiaxu
感觉这个问题不像是模型的问题，更像是tool_parser解析的问题，有些请求甚至会出现json重复拼接的bug，例如正常的api调用：

昇腾部署的错误的api调用（连json的格式都是错的）：

我目前无法确定是vLLM的问题还是ascend的问题还是模型的问题，因为我这边也没有足够的GPU资源去验证。

[aipaes]

@gbdjxgp 可以提供下完整的请求命令或者脚本吗？

[gbdjxgp]

@gbdjxgp 可以提供下完整的请求命令或者脚本吗？

@aipaes
复现主要是在opencode里面配置的，所以我这边也无法提供具体的请求命令（具体操作是在opencode配置后端后，在终端问：今天洛杉矶天机怎么样/百度今天热搜十条）glm4.7模型会去触发webfetch工具调用的
如果不想安装opencode，我可以提供当时调用的请求日志，具体的请求的内容可以通过日志中的body_text字段拿到:

debuglog.zip
ps:不要去看大模型的回复，我写了个修改大模型tool_call的脚本，日志中的回复内容被修改过。部分请求tool_call是能调用成功的但也有失败的。按照官方vllm-ascend的文档部署的话，tool_call是百分之百失败的。

[aipaes]

@gbdjxgp 现在有两个方法需要您尝试下，建议先看下1是否正常返回。（参考：https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev/mindie_service0125.html

1. 我这边本地复现了下function_call的功能，目前一个简单的curl是正常的。您拉起服务后可以尝试下这个curl命令，看下返回是否正常。
   curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{ "model": "glm", "messages": [ { "role": "user", "content": "Hi, can you tell me the delivery date for my order? my order number is 999888" }, { "role": "assistant", "content": "", "tool_calls": [ { "function": { "arguments": "{\"order_id\": \"999888\"}", "name": "get_delivery_date" }, "id": "call_JwmTNF3O", "type": "function" } ] }, { "role": "tool", "content": "the delivery date is 2024.09.10.", "tool_call_id": "call_JwmTNF3O" } ], "stream": false, "max_tokens": 4096 }' http://$your_ip:$your_port/v1/chat/completions
2. 请您检查下权重是否可modelscope上的是否一致：https://modelscope.cn/models/Eco-Tech/GLM-4.7-W8A8-floatmtp
   如果一致，您的机器资源（双机910B,16卡）目前是支撑拉起bf16权重的，您可以尝试官方bf16权重的：https://huggingface.co/zai-org/GLM-4.7
   如果官方的权重结果是正常的，那说明问题可能出在我们量化的权重有问题；如果官方的权重也依然有同样问题，那vllm社区的function call功能对glm4.7在您的部署环境下可能是有问题的。

[gbdjxgp]

@gbdjxgp 现在有两个方法需要您尝试下，建议先看下1是否正常返回。（参考：https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev/mindie_service0125.html

使用的模型：Eco-Tech/GLM-4.7-W8A8-floatmtp已经参考官网进行部署(镜像是vllm-ascend:v0.17.0rc1)

首先我按照您的方法1根本没触发函数调用，如果单纯看模型返回的话是正常的：

尝试去您提供的mindie网站curl例子测试函数调用（stream不管是true还是false），结果都是正确的（但有小概率调用工具，可能是模型的问题），图中是调用正确的截图：

在opencode中调用，我已经把vllm的原始请求与响应都抓包下来了，多次测试我这边可以稳定复现，您这边应该也是可以复现的，复现步骤：

1.准备weather_prompt.json与weather_prompt_nostream.json(可以把文件中的stream变为false且删除stream_options字段，变为weather_prompt_nostream.json)
weather_prompt.json
2.准备parse_message.py：
parse_message.py

3.测试消息

curl -H "Accept: application/json" H "Content-type: application/json" -X POST -d @weather_prompt. json http://$ip:$port/v1/chat/completions | python parse_message.py
curl -H "Accept: application/json" H "Content-type: application/json" -X POST -d @weather_prompt_nostream. json http://$ip:$port/v1/chat/completions | python parse_message.py

4.结果：
流式消息调用异常（甚至json的括号都不是闭合的）：

非流式消息调用正常：

5.我这边大模型返回的具体信息（通过curl -H "Accept: application/json" H "Content-type: application/json" -X POST -d @weather_prompt_nostream. json http://$ip:$port/v1/chat/completions > xxx.log输出，可以通过cat xxx.log|python parse_message.py复现）：
weather_prompt_reply.log.txt
weather_prompt_nostream_reply.log

6.其他信息：
我这边测试可以得出的结论是：使用Eco-Tech/GLM-4.7-W8A8-floatmtp模型+vllm-ascend:v0.17.0rc1镜像+官方部署文档，在opencode场景中中所有的工具调用都是失败的
简单请求像是您给的mindie的使用样例：https://www.hiascend.com/document/detail/zh/mindie/20RC1/mindieservice/servicedev/mindie_service0125.html确实是可以通过的。我明天打算测试一下[zai-org/GLM-4.7](https://huggingface.co/zai-org/GLM-4.7)非量化的权重，具体定位一下问题。