PP-ChatOCRV4可以调用本地模型吗？

[gaodingjin]

示例代码只采用了通过api调用语言大模型，但是实际应用应该调用本地大模型的

[liuhongen1234567]

您好，可以的，可以通过修改
chat_bot_config = {
"module_name": "chat_bot",
"model_name": "ernie-3.5-8k",
"base_url": "https://qianfan.baidubce.com/v2",
"api_type": "openai",
"api_key": "api_key", # your api_key
}
中的参数为本地部署大模型的配置来调用本地大模型，部署的大模型只要符合openai规范即可。

[gaodingjin]

非常感谢您的解答，能给出一个示例代码让我参考一下吗？我对本地调用这块不太熟悉

[gaodingjin]

您好，可以的，可以通过修改 chat_bot_config = { "module_name": "chat_bot", "model_name": "ernie-3.5-8k", "base_url": "https://qianfan.baidubce.com/v2", "api_type": "openai", "api_key": "api_key", # your api_key } 中的参数为本地部署大模型的配置来调用本地大模型，部署的大模型只要符合openai规范即可。

主要是不清楚怎么调用，我看官方文档好像时通过paddlenlp进行本地调用的，目前不清楚其他本地调用（比如ollama）是否可行，我不知道具体怎么实现的，大佬你能给出一个具体的可行方案吗？

[liuhongen1234567]

您好，示例代码和官方文档里的代码基本相同，只是 chat_bot_config 需要根据本地部署的模型修改 base_url， model_name，api_key等参数，如果本地大语言模型怎么部署，建议直接去查看官方的部署文档吧，ollama应该是可行的，只要可以通过openai的方式调用成功理论上都可以接入PP_chatOCRv4

[gaodingjin]

非常感谢，我也刚刚解决好，也是您给的建议