深度回归点云时的问题

[MinLee-lqy]

非常感谢您出色的工作。我在对4个参考视角的深度图回归点云的时候遇到了一些问题。在我的理解下，4个参考视角的深度图是从同一个obj文件渲染出来的，所以用这4个参考视角的深度图和相机内外参数回归出来的点云应该是同一个世界坐标系下的点，也就是渲染的时候那个obj表面上的点，比如说正面和侧面在渲染的时候会有小部分重叠的点，用深度图回归点云后，这个重叠的点在世界坐标系下坐标应该是几乎一致的，所以4个参考视角回归出来的点云应该也能构成一个聚合在一起的整体的人型点云，但我现在回归出来的世界坐标系下的点云却是4散而开的4个独立部分，它们在世界坐标系下的坐标相差很多，就像图中所展示的一样，请问您知道是什么原因导致的吗。

[junjxiao]

你的深度图是哪个部分的，我代码里的深度图都是规范空间下归一化后的

[MinLee-lqy]

你的深度图是哪个部分的，我代码里的深度图都是规范空间下归一化后的

感谢回复，这个问题我找到原因了，我用的是GPS数据集中的深度，而用的是RoG中的depth2pc，GPS中的深度图应该是pts_2d[..., 2] = 1.0 / (depth + 1e-8)这行代码的使用方法，而RoG中是pts_2d[..., 2] = depth。
针对这个深度图的区别我还有几个问题想询问一下：

1.GPS数据集中的深度图是做了归一化后的z-buffer深度，所以在pts_2d[..., 2] = 1.0 / (depth + 1e-8)里面要取倒数对吗？

2.在compute_visibility函数中使用了zbuf, depth = self.projector.project_to_depth(points, extr, intr, H, W, zbuffer)，这里的输入zbuffer，输出zbuf,depth，三者之间的具体区别和表达的意义是什么呢？

3.如果我想用GPS数据集中的深度图回归的点云和深度图来计算这个visibility，compute_visibility函数和project类中的函数代码是否需要修改，如果要的话该如何修改呢？

4.假设我将GPS数据集的深度图回归出的部分点云送入PU网络中得到pcd，能否使用projector类来求出新的pcd点云在不同视角下的归一化z-buffer深度，用来和GPS数据集中的深度图做损失？

[junjxiao]

1. 你可以看下gps-gaussian处理数据的代码，在保存的时候对深度取了倒数，应该是为了把数值压到0-1方便可视化
2. zbuffer是smpl的深度图，也就是离相机最近的深度，depth是smpl点再各个相机视角下的深度值，zbuf是将smpl点投影到深度图上该像素的zbuffer值，也就是比较smpl点的深度在该相机下是否被遮挡
3. 不需要修改，把gps-gaussian的深度取倒数即可
4. 我理解你说的是：首先用gt深度图反投影成点云，再送入spd网络做上采样得到pcd，渲染出pcd的深度图并用gt深度图做约束？是可以，但是我感觉没有必要，深度图反投影出来的点云足够dense了

[MinLee-lqy]

1. 你可以看下gps-gaussian处理数据的代码，在保存的时候对深度取了倒数，应该是为了把数值压到0-1方便可视化

   2. zbuffer是smpl的深度图，也就是离相机最近的深度，depth是smpl点再各个相机视角下的深度值，zbuf是将smpl点投影到深度图上该像素的zbuffer值，也就是比较smpl点的深度在该相机下是否被遮挡

   3. 不需要修改，把gps-gaussian的深度取倒数即可

   4. 我理解你说的是：首先用gt深度图反投影成点云，再送入spd网络做上采样得到pcd，渲染出pcd的深度图并用gt深度图做约束？是可以，但是我感觉没有必要，深度图反投影出来的点云足够dense了

因为我现在尝试的是用前后两张深度图回归出的点云，然后看SPD能不能把左右两个侧面的空洞生成一部分点云出来，所以想用左右两个视角的深度的来做损失约束。

我按RoG中代码的方式使用img和mask去做损失，渲染出来的结果如下，只有部分高斯球显示出来了，你知道可能是哪个环节出错了导致的吗？

非常感谢您的回复！

[junjxiao]

感觉是训崩溃了，你可能要改下spd的代码，上采样之后会加一个偏移量，我设置地比较小，你的case需要对应的修改一下。另外可以把spd出来的点云可视化检查一下。

[MinLee-lqy]

您好，我尝试了修改SPD的偏移量，我发现SPD生成过后的点云在整体上会有个偏移，这个偏移会导致和我原来的相机参数就对不上了，想问下你有碰到过这个问题吗，有什么方法可以解决这个问题吗。我的case现在是用的前后视角点云来构造3D特征体，并且用前后点云通过SPD生成新的点云。 CC_4EvEr ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "iSEE-Laboratory/RoGSplat" ***@***.***>; 发送时间: 2025年6月17日(星期二) 中午11:43 ***@***.***>; ***@***.******@***.***>; 主题: Re: [iSEE-Laboratory/RoGSplat] 深度回归点云时的问题 (Issue #3) junjxiao left a comment (iSEE-Laboratory/RoGSplat#3) 感觉是训崩溃了，你可能要改下spd的代码，上采样之后会加一个偏移量，我设置地比较小，你的case需要对应的修改一下。另外可以把spd出来的点云可视化检查一下。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[junjxiao]

我没遇到过。你可以参考下spd原论文snowflake point deconvolution，有做物体补全的，我只用了点云上采样的部分

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2025年06月29日 17:36 | | 收件人 | iSEE-Laboratory/RoGSplat ***@***.***> | | 抄送人 | junjxiao ***@***.***>, Comment ***@***.***> | | 主题 | Re: [iSEE-Laboratory/RoGSplat] 深度回归点云时的问题 (Issue #3) | MinLee-lqy left a comment (iSEE-Laboratory/RoGSplat#3) 您好，我尝试了修改SPD的偏移量，我发现SPD生成过后的点云在整体上会有个偏移，这个偏移会导致和我原来的相机参数就对不上了，想问下你有碰到过这个问题吗，有什么方法可以解决这个问题吗。我的case现在是用的前后视角点云来构造3D特征体，并且用前后点云通过SPD生成新的点云。 CC_4EvEr ***@***.***  

------------------ 原始邮件 ------------------ 发件人: "iSEE-Laboratory/RoGSplat" ***@***.***>; 发送时间: 2025年6月17日(星期二) 中午11:43 ***@***.***>; ***@***.******@***.***>; 主题: Re: [iSEE-Laboratory/RoGSplat] 深度回归点云时的问题 (Issue #3) junjxiao left a comment (iSEE-Laboratory/RoGSplat#3) 感觉是训崩溃了，你可能要改下spd的代码，上采样之后会加一个偏移量，我设置地比较小，你的case需要对应的修改一下。另外可以把spd出来的点云可视化检查一下。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>