ECCV-2024 | 指令不够用、大模型来生成！BEVInstructor：基于BEV感知和大模型的视觉语言导航指令生成
-
作者：Sheng Fan, Rui Liu, Wenguan Wang, and Yi Yang
-
单位：浙江大学
-
原文链接：Navigation Instruction Generation with BEV Perception and Large Language Models （https://link.springer.com/chapter/10.1007/978-3-031-72670-5_21）
-
代码链接：https://github.com/FanScy/BEVInstructor
主要贡献
-
论文提出BEVInstructor，通过将鸟瞰图（BEV）特征与多模态大模型（MLLMs）结合，显著提高了导航指令生成的性能。
-
BEV编码器将多视角图像特征转换为BEV网格特征，保留三维几何和对象语义，提供更全面的场景理解。
-
通过参数高效的提示调优和实例引导的迭代精调策略，BEVInstructor逐步优化指令，生成更准确和详细的导航指令。
-
实验表明，该方法在R2R、REVERIE和UrbanWalk数据集上均优于现有方法，验证了其在复杂环境中生成高质量导航指令的有效性。
研究背景
研究问题
论文主要解决的问题是如何生成导航指令，使得具身智能体能够描述导航路线。现有的研究直接将2D透视观测序列映射到路线描述，但这种方法忽略了3D环境的几何信息和对象语义。
研究难点
-
如何有效融合3D几何信息和对象语义以生成准确的导航指令；
-
如何在零样本情况下利用多模态大模型（MLLMs）生成高质量的导航指令。
相关工作
-
早期的解决方案依赖于手工制作的规则或模板，缺乏灵活性。
-
后续研究采用神经网络进行端到端学习，如LSTM和Transformer。
-
最近的多模态大模型展示了强大的视觉-语言理解和生成能力，但在零样本情况下仍无法完全满足导航指令生成的需求。
研究方法
BEVINSTRUCTOR通过引入BEV特征并结合2D视角特征来编码3D环境的语义和几何信息。视觉嵌入被用作视觉提示，并通过透视-BEV提示调整来实现跨模态对齐。此外，提出了实例引导的迭代细化策略，以逐步提高生成指令的质量。
Perspective-BEV编码器
论文构建了BEV编码器，通过3D检测的监督，将透视特征转换为3D信息。
该编码器使用deformable注意力层来采样图像特征，并通过深度一致性权重来区分不同深度的参考点。
Perspective-BEV融合模块
这是一种参数高效的更新策略，它将3D几何信息融入提示中，以利用MLLMs的跨模态能力。
通过在视觉嵌入序列中插入可学习的嵌入作为透视Perspective-BEV提示来实现。
Perspective-BEV提示调优
为了参数高效更新，提出了Perspective-BEV提示调优方法。
该方法在MLLMs的最后几层插入可学习的嵌入作为提示，并通过自注意力和线性层来调节深度特征。
实例引导的迭代精调
采用了实例引导的迭代精调策略，逐步改进生成的指令。
初始阶段，BEVInstructor输出一系列候选实例词作为初始地标token，然后在模型中结合这些粗粒度地标来细化指令。
这一过程通过多轮迭代实现，以提高指令的质量和相关性。
实验设计
数据集
实验在三个数据集上进行：R2R、REVERIE和UrbanWalk。R2R和REVERIE用于室内场景，UrbanWalk用于室外场景。
评估指标
使用五个标准指标进行评估：BLEU、CIDEr、METEOR、ROUGE和SPICE。其中，SPICE被作为主要指标。
实现细节
BEVInstructor使用PyTorch实现，所有模型在单台机器上使用2个NVIDIA A40 GPU训练。多模态大模型使用LLaMA-7B初始化，具有32层。
结果与分析
定量结果
-
在R2R、REVERIE和UrbanWalk数据集上，BEVINSTRUCTOR在所有指标上都取得了最佳性能。
-
在R2R val seen和val unseen上，BEVINSTRUCTOR分别在SPICE上提高了1.9%和1.4%，在CIDEr上提高了4.6%和3.0%。
-
在REVERIE val seen和val unseen上，BEVINSTRUCTOR在SPICE上分别提高了7.0%和4.2%，在CIDEr上分别提高了12.6%和8.3%。
-
在UrbanWalk测试集上，BEVINSTRUCTOR在SPICE上提高了11.3%，在Bleu-4上提高了12.5%，在Meteor上提高了7.3%，在Rouge上提高了13.1%。
定性结果
-
在REVERIE数据集上，BEVINSTRUCTOR在识别与动作视图相关的场景和对象方面表现出增强的能力，并在细化阶段将这些元素明确地纳入指令中。
诊断实验
-
通过一系列消融研究评估了BEVINSTRUCTOR的关键模块的有效性，证明了各个组件的互补性和整体设计的有效性。
指令质量分析
-
通过与HAMT和DUET模型的比较，验证了BEVINSTRUCTOR生成的指令在实际视觉-语言导航任务中的路径引导能力和数据增强效果。
总结
BEVInstructor通过结合BEV特征和多模态大模型，显著提高了3D感知和语言能力。
该方法在多个数据集上均表现出色，验证了其生成高质量导航指令的有效性。
