【深度学习新浪潮】什么是新视角合成？
新视角生成（Novel View Synthesis）是计算机视觉与图形学领域的核心任务，旨在从单张或稀疏输入图像生成任意视角的高保真图像。其核心原理是通过学习场景的三维表示，结合渲染技术模拟不同视角下的视觉效果。这一技术在虚拟现实、影视特效、自动驾驶等领域具有重要应用价值。
一、2023年至今的核心研究进展
1. 扩散模型的突破应用
- iNVS（SIGGRAPH Asia 2023）：首次将扩散修复模型重新设计用于视角合成，通过填补视角变化带来的内容缺失，实现高质量视角转换。
- Hawki++（arXiv 2024）：结合预训练的NeRF模型与Stable Diffusion，无需3D数据即可生成指定方位角和仰角的新视角，在复杂场景中实现精确相机控制。实验显示其在Hawki-Syn数据集上的LPIPS指标优于Zero123++等基线方法。