MiniCPM-o 2.6是否能够使用GRPO进行音视频训练？

[bbbdbbb]

感谢作者开源。
我们最近在研究多模态音视频强化学习，已经使用GRPO训练测试Qwen2.5-Omni系列的模型。我们想继续使用GRPO训练MiniCPM-o 2.6，但ms-swift框架上的MiniCPM-o 2.6使用的是MiniCPM-V的template，不支持GRPO强化学习训练（同时输入音频和视频）。

我们是多模态大模型研究方向的新人，请问这个问题应该怎么解决？我们尝试了swift，llama-factory，verl等框架，都不支持MiniCPM-o 2.6进行强化学习微调，我们应该怎么做？

[tc-mb]

您好，收到您的问题。

不过比较抱歉，我和我们的组内同学讨论了下。目前并不好解决。这个需要比较多的修改支持才可以，对于我们目前的人力有一定压力。不过我们会记得这个事情，在人力富裕的时候会考虑支持。当然也非常希望可以得到社区的帮助。

[bbbdbbb]

感谢您的回复。希望研究顺利。