【20205CVPR-目标检测方向】基于事件的高效目标检测:具有空间和时间注意力的混合神经网络
1. 研究背景与动机
- 事件相机的优势与挑战:事件相机(如DVS)提供高时间分辨率(~10μs)、高动态范围(140dB)和低运动模糊,适用于快速运动场景(如自动驾驶)。但事件数据稀疏且高分辨率,传统ANN方法(如CNN)处理时参数多、计算量大(高MAC操作),不适合边缘设备;SNN方法在神经形态硬件上能效高、延迟低,但精度通常低于ANN。
- 现有方法局限:ANN模型(如SparseConv、RetinaNet)精度较高但资源密集(参数达100M+);SNN模型(如VGG-SSD、EMS-RES)能效好但精度不足(mAP<0.32);RNN/Transformer方法(如RVT、S5-ViT)精度高但计算开销大。混合SNN-ANN架构被提出以结合SNN的能效和ANN的精度,但桥接模块设计不足,限制了在对象检测任务中的应用。
- 研究目标:提出一种混合SNN-ANN模型,引入注意力机制桥接模块(β_asab)实现高效空间-时间特征提取,并在神经形态硬件上部署SNN部分,达到高精度、低延迟和低功耗。
2. 提出方法:混合SNN-ANN架构
论文的核心是一个三部分架构:SNN层处理原始事件数据、注意力桥接模块转换稀疏特征、ANN层提取高级特征,并支持RNN变体处理多时间尺度动态。