多目标跟踪（MOT）简单整理
目录
一、多目标跟踪（MOT）
1. MOT概念
2. 研究难点
3. 研究方法
4. MOT评价指标
5. 多目标跟踪主要流程
6. MOT数据集
二、交叉路口多目标跟踪（MOT at Intersections）
1. 研究背景与意义
2. 挑战与难点
3. 技术路线
4. 系统设计建议（适用于智慧交通）
5. 应用案例
6. 推荐方法与可选模块
7. 数据集推荐（适用于交叉路口）
8. 评估指标
三、多目标跟踪中的自运动消除
1. 什么是自运动？
2. 为什么需要自运动消除？
3. 自运动消除的常用方法
4. 应用于MOT中的自运动补偿实例
5. 总结
一、多目标跟踪（MOT）
1. MOT概念
多目标跟踪（Multi-Object Tracking, MOT）旨在从视频序列中检测并持续跟踪多个目标（通常为行人或车辆），为每个目标分配唯一ID，并保持其在时间序列中的一致性。MOT的核心任务是：在存在遮挡、相似外观、目标消失与重现等复杂场景下，保持目标轨迹的连贯性与准确性。
2. 研究难点
实现高精度MOT的挑战主要包括：
-
目标遮挡：目标之间频繁互相遮挡，导致跟踪中断或ID切换（ID Switch）。
-
目标外观相似：相似目标之间容易发生混淆。
-
行人消失与重现：特别是在城市交通场景中，目标可能离开视野后重新出现，给轨迹关联带来困难。
-
检测误差：依赖检测结果的跟踪框架容易受到误检和漏检影响。
-
实时性要求：在智能交通或机器人导航等应用中，跟踪系统需在有限时间内处理复杂场景。
3. 研究方法
3.1 基于Tracking-by-Detection的MOT
这是当前最主流的MOT方法。它将多目标跟踪任务分为两个阶段：
-
检测器：先用目标检测模型检测每一帧中的所有目标；
-
数据关联器：再利用时空、外观、运动等信息将目标进行跨帧关联。
代表方法：SORT、DeepSORT。
优点：结构清晰、易于实现
缺点：高度依赖检测器质量，漏检影响大
3.2 检测与跟踪联合的MOT
该类方法尝试打破检测-跟踪两阶段的限制，在一个统一框架内同时完成检测和跟踪任务。通过共享特征提取过程，提高效率并减少信息损失。
代表方法：JDE、FairMOT
3.3 基于注意力机制的MOT
利用Transformer等注意力结构，增强模型对目标间关系建模的能力，提升对遮挡与复杂交互的处理能力。
代表方法：TransTrack、TrackFormer
3.4 FairMOT
FairMOT是一种基于CenterNet的Anchor-Free网络，同时进行检测与Re-ID特征提取，且在两个任务之间保持“公平”（同一特征用于检测和Re-ID）。其具有较强的实时性能与准确性平衡。
3.5 ByteTrack
ByteTrack在传统的tracking-by-detection框架中充分利用低分检测框（low-score boxes），通过在数据关联阶段保留更多候选框，提升了检测和关联的鲁棒性。是目前公开数据集上性能最优的方法之一。
4. MOT评价指标
主要指标包括：
-
MOTA（多目标跟踪精度）：考虑漏检、误检和ID切换的总体衡量
-
IDF1：衡量ID一致性的准确性
-
MT/ML（Mostly Tracked / Mostly Lost）：评估轨迹的完整性
-
FP / FN：误检/漏检数量
-
ID Sw.（ID Switch）：ID切换的次数
-
HOTA：结合检测精度、关联质量的统一指标
5. 多目标跟踪主要流程
5.1 SORT
-
目标检测
-
使用匈牙利算法基于卡尔曼滤波预测框与检测框之间的IOU进行匹配
-
对未匹配的目标初始化或删除
优点：速度快，适合实时场景
缺点：无外观信息，容易ID切换
5.2 DeepSORT
在SORT基础上引入外观特征（Re-ID），使用余弦距离与马氏距离联合判断，提升遮挡条件下的关联效果。
5.3 StrongSORT
在DeepSORT基础上进一步改进：
-
使用强Re-ID模型（如OSNet、FastReID）
-
引入相邻帧间的轨迹补全机制
-
考虑更复杂的遮挡处理与外观建模
6. MOT数据集
6.1 常用数据集
-
MOT16 / MOT17