Function Call调优和问题

[nomagick]

首先需要肯定 ChatGLM3-6B 的 Function call 和 Interpreter 都非常新颖，填补了开源模型的一些空白。
但经过一段时间的试用，我发现当前模型有以下问题，这种问题是模型层次的，只能通过训练解决，希望在下个版本能够考虑。

• Function 的参数不能是字典或JSON，而只能是Python Primitive
• 工具，或者说function的名称不能为 interpreter
• 处理 markdown 前缀和 tool_call() 调用形式过于复杂

如果进行一些分析思考，不难推测，Function call 功能是建立在 Interpreter 基础上微调得到的，本质上还是 Python Interpreter

https://replicate.com/p/qudth7dbwpljdbgmw5p2glk2qq

这一点尤其限制了模型理解和生成JSON树状结构的能力。

同时当前模型的输出形式，可以推测只是为了在Python中实现起来方便。

我想说的是eval任意Python代码的实现方式是非常危险的, 在工程上也是不可接受的。

所以Function call的能力不应该建立在Interpreter基础上, 最好也不要和Python扯上任何关系，做成语言中立的。
建议对模型进行JSON树状结构的微调，这一点才是应用开发者最期盼的。

[wengyuan722]

使用容器跑，要一定门槛

[Lihengwannafly]

我在前几个月测试openai的interpreter时，它认为自己是一个叫'python'的function，以及在测试openai的function_call接口时，也有一个默认的'python' function。所以我的猜测是，应该是interpreter的能力建立在function_call的基础上，智谱也借鉴了openai function_call的能力。

[zRzRzRzRzRzRzR]

解释器和工具调用是在同一层的，代码解释器也是一种 tools

[positive666]

补充下应用角度，fuction call 并不新颖，抛开SFT训练它的过程，使用这个逻辑本质是一种prompt的工程 ，大部分都是参考OPENAI的逻辑调用思路，demo返回dict是命中了tools中的一个， string则是没有命中，是一种前后端交互逻辑，针对每个人的使用场景所产生的效果也相差很多，最终在垂直领域还是需要SFT，不过很感谢提供这么一个10B以内的强力底座

[nomagick]

嗯参考OpenAI最新发布的API格式的话，现在function calling 和 Python interpreter 都被统一到同一个 tool 概念下面。

Function calling 和 Python interpreter 是平级的， 属于不同类型的tools, 参数不同。

Function calling 这个 tool 的参数是一个JSON对象，而Python interpreter这个 tool 的参数是一段Python代码，可以从这个角度去微调模型。

[mMrBun]

我想问个问题，怎么处理POST请求，自然语言应该很难描述清楚，例如帮我把这段音频中的对话内容翻译成英语，困难的是怎么接收这个音频文件
我看了ToolAlpaca的数据集的描述，我认为这在实际场景中是不可能的

 {
    "role": "user",
    "content": "I'm troubleshooting some requests, so can you help me send a POST request to https://httpbin.org/post with the header \"Content-Type: application/json\" and the data '{\"name\": \"John Doe\", \"email\": \"[email protected]\"}'? Let me know the response details."
}

自然语言这样描述简直不可能，有没有什么思路解决这个问题？

[zRzRzRzRzRzRzR]

在进入大模型之前的数据应该被做好完全的格式化，这样大模型才能更好的处理问题
6B的量级的模型不太可能直接能达到你提到的理解所有的用户自然语言和非格式化的音频格式

[RichardFans]

req-1-chatgpt3.json
req-2-glm3.json
resp-1.json
resp-2.json
同样工具请求，用openapi的接口，chatgpt function_calling 可以返回JSON格式，GLM3不能正常返回JSON格式，如果用chatglm3自带的api demo，则返回信息更少？请问这是怎么回事呢？ chatglm3是否拥有chatgpt 同样的能力呢？

[RichardFans]

应该是与openai的with_structured_output接口不兼容

[RichardFans]

req-1-chatgpt3.json
req-2-glm3.json
resp-1.json
resp-2.json
同样工具请求，用openapi的接口，chatgpt function_calling 可以返回JSON格式，GLM3不能正常返回JSON格式，如果用chatglm3自带的api demo，则返回信息更少？请问这是怎么回事呢？ chatglm3是否拥有chatgpt 同样的能力呢？