3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

0 论文工作

感觉这个论文可能能shapE差不多同时期工作，但是shapE是生成任意种类。
本文提出了一种新颖的单图像视图合成方法NerfDiff，该方法利用神经辐射场 (NeRF) 引导的三维扩散模型进行单图像三维重建。现有方法通常难以从单一图像中恢复出高质量且一致的三维场景，尤其是在处理具有挑战性的场景时，容易出现几何形状不准确、纹理细节丢失等问题。NerfDiff 巧妙地结合了基于NeRF的视图合成和三维扩散模型，首先利用预训练的三维扩散模型生成场景的初始NeRF表示，然后通过NeRF引导的三维扩散过程，对初始NeRF进行细化，最终生成高质量且一致的三维场景。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF)，该方法利用三维扩散模型的输出引导NeRF参数的更新，从而有效地解决三维扩散模型中几何形状不一致的问题。大量的实验结果表明，NerfDiff 在多个基准数据集上取得了最先进的性能，在视图合成质量和三维重建精度方面均优于现有方法。
paper

1 论文方法

NerfDiff 旨在解决现有单图像三维重建方法中存在的视图合成质量差和三维结构不一致的问题。它结合了神经辐射场 (NeRF) 和三维扩散模型 (3D-aware Diffusion Model, CDM) 的优势，采用了一个两阶段的流程：
初始 NeRF 生成: 首先，利用预训练的三维扩散模型 (CDM) 生成场景的初始 NeRF 表示。CDM 通过学习三维场景的先验知识，为 NeRF 提供一个良好的初始估计。
NeRF 引导的三维扩散细化: 然后，利用一个新颖的 NeRF 引导的三维扩散框架，对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较，迭代地更新 NeRF 参数，从而生成更精确、更细节丰富的三维场景。 过程中引入了几何约束 NeRF (Geo-constrained NeRF)，进一步提升了重建质量，特别是对几何结构的重建。

2 实验结果