NVIDIA智能汽车技术公开课笔记

---

前言

近期参加的NVIDIA智能汽车技术公开课，也算是辅助驾驶的入门课，很多内容非常有意思，不过真要深入这些技术原理得恶补一些基础的算法模型，目前也只能简单了解一下技术路径。NVIDIA 整合了从云端到车端的安全自动驾驶开发技术套件，涵盖车辆架构到 AI 模型，包括芯片、软件、工具和服务。这样一系列的开发流程也正是NVIDIA自驾算法升级迭代的关键。本文仅从个人角度记录对NVIDIA自驾算法技术的看法，也作为初步学习的入门笔记。

---

安全性是自动驾驶汽车的首要考量。NVIDIA 致力于构建安全的自动驾驶平台，这是我们最引以为傲的事业之一，并为汽车制造商将自动驾驶汽车推向市场提供至关重要的支持。”——黄仁勋，NVIDIA 创始人兼首席执行官

从NVIDIA 自动驾驶安全报告来看，自驾算法的核心就是在最大程度保证安全的基础上不断升级、叠加新的技术块，然后整合成像人一样的思考体，行驶安全是在做任何判断前首要考虑的问题。

下面简单了解一下NVIDIA在安全自动驾驶方面的几个关键技术。

NVIDIA DRIVE

全球首个可扩展 AI 平台，实现从 AI 辅助驾驶到自动驾驶出租车的自动驾驶领域全覆盖。该平台由硬件、软件和固件组成，它们协同工作，实现自动驾驶系统和自动驾驶汽车的批量生产。

NVIDIA DRIVE® 软件团队不断创新，致力于为转变行业且安全可靠的辅助驾驶系统，开发冗余且多样化的深度神经网络。目前的一些创新辅助驾驶算法包括像：

• 无图驾驶 —— 城市级 AI 辅助驾驶
• 利用生成式 AI 增强辅助驾驶仿真
• 端到端辅助驾驶：鸟瞰图 (BEV)
• 基于剪枝的 AI 模型优化
• …

技术算法非常多，这里简单了解一下 生成式 AI 增强辅助驾驶仿真这个算法技术。

确保自驾系统的高安全性就需要在算法实际应用前经过大量的仿真实验验证，然后不断优化算法的能力。所以仿真环境越能准确、全面地模拟真实场景，算法驱动的自动驾驶行为也就越自然、有效。概括的说这个过程中主要包含三个层面：

• 创建逼真的道路环境
• 生成安全的驾驶行为
• 支持对场景的灵活编辑

与之对应的关键技术分别是：

• MapLLM
• LCTGen
• 场景编辑器
  

MapLLM

MapLLM是NVIDIA为自动驾驶开发的一个大语言模型，基于用户的输入，生成高精地图格式的驾驶场景，例如它可以使用事故报告中的文本，生成符合描述的道路布局，并输出多个可能的高精地图。这种多样化驾驶场景的生成，是通用自动驾驶仿真系统的第一个关键技术。

MapLLM生成高精地图格式的驾驶场景

LCTGen

当仿真的虚拟世界构建完成，就可以使用NVIDIA的LCTGen（一种基于语言的交通行为模型）来生成自然、逼真的车辆，行人以及其他交通参与者的行为。LCTGen是一个可以理解交通场景文本描述的Transformer语言模型，它可以根据已知的文本描述，预测交通参与者可能的位置，以及他们在场景中的运动。从简单的事故报告，LCTGen可以将车辆放置在指定的位置，并生成符合报告描述的轨迹，或其他相似的场景。这可以帮助自动驾驶开发者将以前静态的数据源，如文本的事故报告，转化为可用于评估的仿真场景。这不仅可以增加场景的多样性，还可以在仿真中训练和测试自动驾驶技术栈，以在更广泛的场景中保持安全性。

LCTGen框架示意图

LCTGen 有两个主要模块：解释器（Interpreter）和生成器（Generator）。给定任何用户指定的自然语言查询，基于大规模语言模型（LLM）的解释器将查询转换为紧凑的结构化表示。解释器还从真实世界的地图库中检索与描述的场景相匹配的合适地图。然后，生成器使用结构化表示和地图来生成真实的交通场景，准确地遵循用户的要求。

可以在Colab中体验一下demoDemo的效果：

Demo1: 使用现有的结构化表示生成场景

Demo2: 从现有的LLM输出生成场景

定性结果展示
LCTGen在给定《事故报告》（第一行）和《属性描述》（第二行）数据集中的文本时的输出示例。每个示例由输入文本和生成的场景组成。由于《事故报告》中的文本过长，我们仅展示了解释器模块的输出摘要。

NVIDIA Omniverse场景编译器

它可以对已有的驾驶场景进行细微的调整，通过简单的语言提示，轻松修改虚拟场景的方方面面。比如场景编辑器可以瞬间将白天变为黑夜，将晴天变为雨天，或向场景中添加新的交通参与者，这大大扩展了自动驾驶系统在开发期间可以接触到的真正OOD（Out-of-Distribution）的范围。

场景编辑器通过设置语言提示实现将白天瞬间变成黑夜

总结

NVIDIA的自驾算法平台，特别是通过硬件、软件和固件的整合，使得从AI辅助驾驶到自动驾驶出租车的应用成为可能。平台中的创新技术，如无图驾驶、生成式AI增强辅助驾驶仿真以及基于剪枝的AI模型优化等，给我留下了深刻的印象。特别是生成式AI增强辅助驾驶仿真技术，能够通过真实的虚拟场景模拟驾驶行为，为自动驾驶系统提供可靠的仿真数据，从而进一步确保系统的安全性。🤖

其中，MapLLM和LCTGen是最吸引我注意的技术🔍。MapLLM基于大语言模型，能够从事故报告等文本中生成符合描述的高精地图，而LCTGen则通过将自然语言描述转换为结构化的交通场景，进一步推动了自动驾驶仿真的发展。LCTGen的两个主要模块——解释器和生成器，能够基于用户的查询生成复杂的交通场景，极大地提升了仿真数据的多样性与精确性。

总的来说，NVIDIA将构造道路环境的MapLLM、生成逼真驾驶场景的LCTGen，集成了大语言模型的Omniverse场景编辑器结合在一起，就可以高效地利用生成式AI，创建逼真场景来准确反映现实世界，并进行全面的自动驾驶评估和训练。通过这次学习，我对自动驾驶的未来发展有了更深的理解，也看到了许多潜力巨大的技术应用。