光流 ｜ 当前光流算法还存在哪些缺点及难题？

当前光流算法虽然在精度和鲁棒性上取得了显著进步（尤其是基于深度学习的方法），但仍然存在一些关键的缺点和挑战，限制了其在复杂场景下的广泛应用和可靠性。主要缺点包括：

一、 核心计算挑战

1. 遮挡问题：
   • 问题描述： 当场景中存在运动物体时，物体移动后，原来被遮挡的背景区域会显露出来（显露区域），而原来可见的区域会被其他物体遮挡（遮挡区域）。这两类区域在连续帧之间没有对应的像素。
   • 难点： 算法很难甚至无法为这些区域的像素找到正确的对应点。现有方法通常依赖于插值、外推或利用时序上下文信息进行猜测，但这往往导致错误的光流估计，尤其是在物体边界附近。
2. 大位移与快速运动：
   • 问题描述： 当物体运动速度很快（像素位移很大）或相机移动剧烈时。
   • 难点：
     • 传统方法： 基于局部优化或金字塔策略的传统方法（如Lucas-Kanade）的搜索范围有限，难以捕获大位移。