三维重建（十五）——多尺度（coarse-to-fine）
文章目录
- 一、多尺度与图像金字塔：从全局结构到局部细节
- 二、特征提取与匹配
- 2.1 从数据采集的角度
- 2.2 从数据增强的角度
- 2.3 从特征提取的方式
- 三、以多尺度的方式使用特征
- 3.1 特征提取与匹配
- 3.1.1 多尺度特征检测
- 3.1.2 金字塔匹配
- 3.2 深度估计与立体匹配
- 3.2.1 多尺度立体匹配
- 3.2.2 金字塔方法
- 四、在三维模型上进行多尺度
- 五、多尺度优化策略
- 5.1 多尺度优化
- 5.2 多尺度数据融合
- 5.3 不同尺度的设定
- 六、根据语义划分尺度
- 6.1 核心思想
- 6.2 语义信息的引入
- 6.2 多尺度处理
- 七、实验步骤
- 7.1 数据获取与预处理
- 7.2 语义分割
- 7.3 尺度分配策略
- 7.4 多尺度特征提取与融合
- 7.5 三维重建与优化
- 八、论文
- 8.1 Deformable NeRF using Recursively Subdivided Tetrahedra
- 8.2 City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web
- 8.3 Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering
- 8.4 MonoSDF: Exploring Monocular Geometric Cuesfor Neural lmplicit Surface Reconstruction
- 8.5 Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans
- 8.6 PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization
- 九、其他
- 9.1 shortcut
- 9.2 超分
- 参考文章
多尺度是一种策略、技巧；而不是思想，已经算是基础操作了
一、多尺度与图像金字塔：从全局结构到局部细节
图像金字塔：逐层下采样，或者卷积。到高维这里，可能就是黄色的东西，当然，可能中间会加入shortcut，把前面的东西加到后面去。
VIT就是算一个像素之间的注意力；
整体的核心就是，从不同的分辨率去感知这个图像，会有不同的效果。计算量的权衡问题；比如输入是个高分辨率的图片，比如做三维重建，可能就会对于显存有很大的压力的存在，所以可能需要进行下采样这个情况。
还有就是切出一小块区域，有点是局部的细节是有了，但是对于整体式没法感知的。
还有就是coarse to fine的思想（对于特征提取和重建）就是一开始是对非常分辨率特别低的图片进行提取或者重建（当然，此时的效果并不好），之后再对前一次的图片的信息，进行细化，逐步精确。
优势是可以平衡显存和计算量的问题，不用一开始就把显存拉的很高。可以在一定程度上增加模型的鲁棒性。如果一开始