请问如何设置自己的数据集微调MinerU2___5-2509-1___2B模型

[xwhdsg]

你好，我当前打算使用vlm模型识别工件图纸，但是mineru模型在识别（分割）其中的图片的时候会存在一些细微的偏差，请问我该（在哪里查看）如何设置自己的数据集去实现vlm模型的微调？

[dosubot[bot]]

目前MinerU官方没有提供现成的微调脚本或详细文档，但MinerU2___5-2509-1___2B（VLM）模型本身兼容Huggingface生态，可以用标准的Huggingface工具进行微调。大致流程如下：

1. 准备数据集：需要成对的图片（如PDF页面或区域截图）和目标文本（如标注文本或Markdown）。数据格式可以参考MinerU的输出文件（如model.json、middle.json），但实际用于微调时建议以Huggingface多模态任务（如image-text pair）格式组织数据。
2. 数据格式：每条数据应包含图片路径和对应的文本描述（如分割区域的标签、内容说明等）。
3. 模型加载：使用Huggingface的Trainer和相关模型类（如MinerU2QwenForCausalLM，支持多模态输入）加载MinerU2___5-2509-1___2B权重。
4. 训练脚本：需自行编写数据加载、训练和评估脚本，流程与Huggingface常规多模态微调类似。
5. 评估与部署：微调后可将新权重替换到本地模型目录，通过mineru.json配置文件指定本地模型路径，设置MINERU_MODEL_SOURCE=local即可调用自定义模型进行推理。

详细讨论和社区经验可参考：GitHub Discussions 4002 和 3191。
model.json可用于调整标注区域和类型，middle.json为最终输出，不能用于前置标注调整[参考1]。

目前没有官方数据集模板或自动化脚本，需参考Huggingface多模态任务的通用做法自行实现。微调时请确保数据标注准确，格式规范，并遵循Huggingface最佳实践。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}