解耦minerU-api 与大模型模块

[verigle]

如果使用大模型的话，希望能解耦大模型模块与minerU-api， 大模型可以提供openai 格式接口， 调用放可以直接import openai来使用，同时并发大了可以方便服用大模型生态
希望minerU-api模块能配置 大模型的baseUrl，这样可以更好的解耦， api 模块可以只在纯cpu 服务器上部署了

[myhloli]

mineru-api目前是支持配置openai-server的baseurl的，和命令行client的参数一致

[verigle]

理论上解耦之后mineru-api 依赖的 llm 对话 api 的参数不应该由接口传参，mineru-api 调用方不需要关心这些配置， 而应该放在 mineru-api 启动参数中，否则任何时候都把显存占用了， 实际要用另外的api,会浪费资源
最好的方式是mineru-api 增加命令行参数， 例如 mineru-api --backend llm-api --llm_base_url {openai 格式 api 接口地址}

其中openai 格式 api server 通过vllm serve {minerU 模型名} 启动，这样直接拉去vllm 镜像就能直接启动，免去中间的复杂过程

总之mineru-api 负责不需要gpu 的模块， 需要gpu 的全部交给vllm 镜像， mineru-api 通过 openai client 调用 vllm server 接口

[myhloli]

目前mineru-api的设计目标是尽可能大的使用灵活性，和对cli参数的完全支持以及低学习成本，如果您对api有更多要求，可以参考现有代码自行开发适合自己使用的模板。

[verigle]

可问题是 dify 中使用的 minerU 插件也不支持配置server_url 这个参数，虽然空有这个参数下游调用方也无法这个发挥作用，这与实现尽可能大的使用灵活性的设计目标背道而驰

[myhloli]

这个您可以反馈给dify插件维护方

[verigle]

正常情况下调用方不应该考虑server_url这个事情, 而这个恰好是部署mineru-api 阶段要考虑的事情，minerU-api 调用方要考虑的是mineru-api 自身的地址
如果传了server_url 这个参数， docker镜像中又包含了vllm 的意义又何在呢？
强烈建议把请求其中一些参数（例如server_url） 放在 mineru-api 的启动参数中
第一次调用api要等很久这是一件很不合理的事情，居然要调用接口后才启动模型