本讲目标

• 理解图像特征点的意义,并掌握在单幅图像中提取出特征点，及多幅图像中匹配特征点的方法。
• 理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动。
• 理解PNP问题，及利用已知三维结构与图像的对应关系，求解摄像机的三维运动。
• 理解ICP问题，及利用点云的匹配关系，求解摄像机的三维运动。
• 理解如何通过三角化，获得二维图像上对应点的三维结构。

从本讲开始，开始介绍SLAM系统的重要算法

• 视觉里程计:特征点法和直接法
• 后端优化
• 回环检测
• 地图构建

特征点法

ORB特征

BRIEF

实践特征提取与匹配

2D-2D：对极几何

P是1坐标系下的坐标，变成2摄像头的坐标需要进行旋转和平移。
归一化：把K换到左边变为逆，x1=P

E：本质矩阵，F：基本矩阵
t平移项三自由度，R旋转矩阵也是三自由度，t^R就是六自由度，但是由于乘任意非零常数依然满足，需要去掉一个自由度，E就是五自由度。意思：最少用五对点把E算出来，五点法。但是有点麻烦，因为有乘法，需要用到非线性的性质，于是就把E当成3×3普通矩阵，有9个自由度，减去一个非零常数自由度，就变成八个自由度。最少用八个点把E求出来。

八点法求E

八点法的讨论

• 用于单目SLAM的初始化
• 尺度不确定性:归一化t或特征点的平均深度
• 纯旋转问题:t=0时无法求解
• 多于八对点时:最小二乘或RANSAC

从单应矩阵恢复R，t

退化：意味着求解不对，求出来的e=[e1,e2,e3,e4,e5,e6,e7.e8.e9]是高维空间，不是一 维空间
于是就规定单应矩阵，特征点都在一个平面上，法线是n，截距为d。
先通过p1和p2把H算出来，再把R和t算出来。

小结

• 2D-2D情况下，只知道图像坐标之间的对应关系
  • 当特征点在平面上时（例如俯视或仰视），使用H恢复R,t
  • 否则，使用E或F恢复R,t
• 求得R,t后:
  • 利用三角法计算特征点的3D位置（即深度）（三角法在7.5）

三角化

实践：对极约束求解相机运动