当前位置：首页 > news >正文

为何前馈3DGS的边界总是“一碰就碎”？PM-Loss用“3D几何先验”来解

news 2025/6/17 11:28:19

文章链接: https://arxiv.org/abs/2506.05327
项目主页: https://aim-uofa.github.io/PMLoss
代码链接: https://github.com/aim-uofa/PM-Loss

在新视角合成（Novel View Synthesis, NVS）技术飞速发展的今天，3D高斯泼溅（3D Gaussian Splatting, 3DGS）以其出色的实时渲染能力和照片级的视觉效果，成为了该领域的主流技术。为了摆脱传统3DGS“逐场景优化”的束缚，前馈式（Feed-forward）3DGS应运而生，它仅需一次网络推理即可完成场景重建，极大地提升了应用效率。

然而，一个长期存在但常被忽视的问题，正制约着前馈式3DGS的质量上限：

几何表示的局限性。当前模型普遍依赖预测的2D深度图反投影来构建三维高斯点云。但深度图在物体边界处存在天然的不连续性，这种瑕疵在被上投影至三维空间时会被放大，导致生成的几何体在边缘区域出现破碎、空洞和漂浮物，严重影响了最终的渲染质量。

为了攻克这一难题，本文提出了 PM-Loss，一种新颖的、即插即用的正则化损失。它巧妙地利用了大型3D重建模型生成的“点图”（Pointmap）作为几何先验，在训练过程中直接对三维空间中的几何进行约束，从根本上提升了模型的几何准确性。实验表明，MVSplat 和 DepthSplat 等主流模型在应用 PM-Loss 后，在 DL3DV 和 RealEstate10K 数据集上重建出的高斯点云基本消除了外围浮点。同时在渲染效果上也取得了超过 2dB 的PSNR提升，点云在边界区域可视化效果变得明显更加清晰和规整。

核心症结：不完美的“深度基石”

深入探究前馈式3DGS的工作流程，我们发现其核心瓶颈在于几何重建的监督方式。模型通过标准的2D渲染损失（如L2, LPIPS）进行优化，这种监督方式虽然能保证整体画面的相似性，却难以对三维空间的几何结构进行有效约束。这导致了两个主要问题：

1.边界伪影 (Boundary Artifacts)：深度图在物体轮廓、前景与背景交界处极易产生错误预测，这些错误被直接转化为三维空间中位置不准的高斯点。
2.几何不一致 (Geometric Inconsistency)：仅依赖2D图像监督，模型难以学习到多视图之间连贯、一致的几何信息，导致三维结构缺乏平滑性和完整性。
这种基于不完美“深度基石”的重建方式，是导致渲染结果出现视觉瑕疵的根本原因。

PM-Loss登场：引入3D空间“几何标尺”

为了解决上述问题，本文不再局限于2D图像空间，而是引入了直接的3D几何监督。PM-Loss的核心思想是：借助一个强大的外部“几何专家”来指导3DGS模型的几何学习。

这个“专家”就是由预训练的大型3D重建模型（如VGGT）生成的点图（Pointmap）。点图为场景中的每个像素点直接提供了三维世界坐标，相比于单一的深度值，它包含了更丰富、更平滑的几何信息。

PM-Loss的工作流程可概括为以下两步：
1.高效对齐 (Efficient Alignment) ：在训练的每一步，将3DGS模型预测的高斯点云中心，与由点图构成的目标点云进行对齐。得益于两者像素级别的天然对应关系，可采用高效的Umeyama算法在毫秒间完成对齐，避免了传统ICP等算法的巨大开销。
2.3D空间正则化 (3D-Space Regularization) ：对齐后，通过Chamfer距离计算两个点云之间的差异，并将其作为一项正则化损失（即PM-Loss）加入到总损失函数中。这相当于在三维空间中引入了一把“几何标尺”，惩罚那些偏离了平滑几何先验的预测，引导模型学习到更准确、更完整的3D结构。

作为一个纯粹的训练期损失，PM-Loss无需修改模型架构，且在推理时零开销，保证了原有模型的效率。

实测效果：边界更清晰，伪影去无踪

本文在多个主流前馈3DGS模型（如DepthSplat, MVSplat）及大规模数据集（DL3DV, RealEstate10K）上验证了PM-Loss的有效性。

几何质量的根本性优化：通过可视化3D高斯点云，发现PM-Loss能显著提升几何体的规整度和完整性，使其更贴近真实的场景结构。
渲染质量显著提升：PM-Loss为所有基线模型带来了稳定且可观的性能增益。在同样设置下，PSNR指标平均提升超过2dB，LPIPS和SSIM指标也得到了一致改善。
视觉效果肉眼可见的改善：从定性对比中可以清晰看到，经PM-Loss优化后的模型，在处理物体边缘、复杂遮挡和背景区域时表现得更加出色。原先的黑色空洞、扭曲边界和漂浮噪点得到了有效抑制，整体画面更干净、更真实。

总结

研究指出了当前前馈式3DGS模型中一个关键却未被充分解决的问题：由2D深度表示局限性所引发的几何质量瓶颈。本文提出的PM-Loss，通过一种巧妙而高效的方式，将大型3D重建模型的几何先验知识“蒸馏”到3DGS模型的训练过程中。作为一个轻量级、即插即用且无推理开销的正则化损失，PM-Loss为提升前馈式3DGS的重建质量提供了一个实用且有效的解决方案。我们相信，这种跨模型、跨范式借鉴先验知识的思路，将为未来的三维视觉研究带来更多启发。