local feature matching需要训练吗

[yutongwangBIT]

您好！刚刚拜读了你们的TRO文章，非常有启发，感谢你们的工作！
关于local feature extraction和matching我有一些疑问，卫星图像和飞机采集图像之间的区别还是很明显的，我也试了试你们开源的数据，直接用superpoint和lightglue现成的模型是很难匹配的。
所以想请问你们，这部分你们是有单独用自己的数据训练的吗？是开源的这个数据吗？标签怎么做的呢？最终的匹配效果是怎么样呢？
期待回复，感谢您的时间！

[hmf21]

@yutongwangBIT

感谢您的关注。我尽可能回答您的问题：
1、局部匹配的网络权重我们使用的是原始的权重，并没有经过训练，最终的匹配效果也比较理想。
2、您这边难以匹配的原因可能是对于遥感地图的裁切流程出现了问题，在在线匹配过程中，我们使用6DOF定位结果裁剪出尺寸方向和实飞图像基本一致的遥感地图，由此实现了准确的匹配。
3、在某些纹理比较弱的场景确实会出现匹配失效的情况，此时我们会利用VIO的结果递推一段距离，等待下一次正确匹配的结果。在定位丢失的情况，我们也会重新执行一次全局搜索的定位初始化。

如果您有进一步的疑问，请随时与我们交流

[somebodyxy]

@yutongwangBIT

感谢您的关注。我尽可能回答您的问题： 1、局部匹配的网络权重我们使用的是原始的权重，并没有经过训练，最终的匹配效果也比较理想。 2、您这边难以匹配的原因可能是对于遥感地图的裁切流程出现了问题，在在线匹配过程中，我们使用6DOF定位结果裁剪出尺寸方向和实飞图像基本一致的遥感地图，由此实现了准确的匹配。 3、在某些纹理比较弱的场景确实会出现匹配失效的情况，此时我们会利用VIO的结果递推一段距离，等待下一次正确匹配的结果。在定位丢失的情况，我们也会重新执行一次全局搜索的定位初始化。

如果您有进一步的疑问，请随时与我们交流
这里也就是说，相机图像与卫星切片的方向也需要保持基本一致？因为superpoint加lightglue进行匹配在大角度差异时并不能执行

[somebodyxy]

这里也就是说，相机图像与卫星切片的方向也需要保持基本一致？因为superpoint加lightglue进行匹配在大角度差异时并不能执行

[hmf21]

Hi @somebodyxy
是的，我们在实验中会预先对齐地图和航拍图