Semi-Supervised Single-View 3D Reconstruction via Prototype Shape Priors

阅读总结

一、研究背景与挑战

问题定义

• 任务：单视图3D重建（从单张RGB图像预测物体3D形状）
• 痛点：
  • 监督方法（如Pix2Vox）依赖大量3D标注数据（图像-体素对），标注成本高昂。
  • 单视图重建是病态问题（单张2D图像对应多种3D形状解）。
• 现有局限：
  • 半监督学习（SSL）在分类/检测中有效，但未应用于3D重建。
  • 直接迁移SSL方法（如MeanTeacher）效果差：
    • 3D伪标签噪声大（图1b）
    • 缺乏形状先验导致重建结果不自然（如表面断裂）

---

二、核心方法：SSP3D框架

整体架构

• 两阶段训练：
  1. Warm-up阶段：用少量标注数据（1%~20%）预训练教师模型。
  2. 互学习阶段：教师生成伪标签指导学生模型，学生通过强数据增强学习，教师通过EMA更新权重。
  3. 

关键创新模块

1. 原型注意力模块（Prototype Attentive Module, PAM）

• 动机：解决标注数据不足时的形状先验学习问题。
• 实现：
  1. 原型生成：对标注数据的3D形状特征聚类（K-Means），得到类别原型（如椅子类3个典型形状）。
  2. 注意力融合：
     • 图像特征（Query）← 2D编码器（ResNet-50）
     • 原型特征（Key/Value）← 3D编码器（处理原型体素）
     • 多头注意力（MHA）计算：
       
  3. 输出：融合原型信息的先验特征 → 输入形状解码器。
• 作用：显式注入类别先验，提升遮挡/噪声图像的鲁棒性。

2. 形状自然性模块（Shape Naturalness Module, SNM）

• 动机：评估伪标签质量并提升形状真实性。
• 双功能设计：
  1. 判别器：区分预测形状与真实形状，通过对抗损失优化生成器：
  2. 置信度评分器：输出Sigmoid值作为伪标签质量得分（高=真实性强），用于加权无监督损失。

---

三、训练策略

1. Warm-up阶段

• 损失函数：

2. Teacher-Student互学习

• 教师生成伪标签：
  • 弱增强图像 → 教师模型 → 输出体素 $\hat{y}$ → 二值化（阈值 ）。
• 学生训练：
  • 监督损失：标注数据的BCE损失。
  • 无监督损失：伪标签的加权平方L2损失（Brier Score）：
    • ：SNM输出的置信度（0~1）。
• 教师更新：EMA平滑学生权重 → ​​​​​​​

原文链接：2209.15383https://arxiv.org/pdf/2209.15383

代码链接：ChenHsing/SSP3D: [ECCV 2022, Semi-Supervised Single-View 3D Reconstruction via Prototype Shape Priors]https://github.com/ChenHsing/SSP3D