MM-AttacKG：一种使用大型语言模型构建攻击图的多模态方法

抽象

网络威胁情报 （CTI） 解析旨在从海量数据中提取关键威胁信息，并将其转化为可作的情报，提高威胁检测和防御效率，包括攻击图构建、情报融合和指标提取。 在这些研究主题中，攻击图构建 （AGC） 对于可视化和了解 CTI 报告中威胁事件的潜在攻击路径至关重要。 现有方法主要纯粹从文本数据构建攻击图，以揭示攻击行为序列中实体之间的逻辑威胁关系。 但是，它们通常会忽略视觉模态中固有的特定威胁信息，从而保留固有的多模态 CTI 报告中的关键威胁详细信息。 受多模态大型语言模型 （MLLM） 卓越的多模态理解能力的启发，我们探索了它在增强多模态攻击图构建方面的潜力。 具体来说，我们提出了一种新的框架 MM-AttacKG，它可以有效地从威胁图像中提取关键信息并将其集成到攻击图构建中，从而提高攻击图谱的全面性和准确性。 它首先使用威胁图像解析模块从图像中提取关键威胁信息，并使用 MLLM 生成文本描述。 随后，它构建了一个为图像解析量身定制的迭代问答管道，以完善对威胁图像的理解。 最后，通过 MLLM 实现攻击图谱和基于图像的答案之间的内容级集成，完成威胁信息增强。 我们构建了一个新的多模态数据集 AG-LLM-mm，并进行了广泛的实验来评估 MM-AttacKG 的有效性。 结果表明，MM-AttacKG 能够准确识别威胁图像中的关键信息，显著提高多模态攻击图构建质量，有效解决了现有方法利用基于图像的威胁信息的不足。 Code 和相应的数据集将在接受后发布。

Keywords 网络威胁情报⋅攻击图构建⋅多模态大型语言模型

随着网络攻击的频率和复杂性增加，它们对现代网络安全防御构成了重大挑战。 攻击图通过代表单个攻击步骤、被利用的漏洞和目标资产的互连节点，以图形方式描述攻击的进展，从而成为对抗这些不断升级的威胁的有效手段[1,2,3,4,5]. 攻击图构建 （AGC） 是系统生成此类图的任务，依赖于各种数据源，例如系统日志、人工整理的知识和网络安全情报 （CTI） 报告。 其中，CTI 报告尤其有前景。它们提供及时准确的威胁情报，帮助识别关键攻击路径并专注于高风险威胁[6,7,8,9]. 由于其巨大的应用价值，攻击图构建任务引起了学术界和工业界的广泛关注。

攻击图构建方法的研究经历了以下几个阶段。 在初始阶段，研究人员通过专业知识建立规则，根据正则表达式提取入侵指标 （IoC），并根据感知构建攻击图框架[2]. 然而，这种方法受到正则表达式的固定模式和专家的主观理解的限制，使其难以适应网络攻击者不断变化的策略和技术。 为了应对这些挑战，已经提出了基于深度学习的方法，例如 AttacKG 和 ThreatKG[1,3]. 结合深度学习显著提高了攻击图的构建效率。然而，模型选择的复杂性和对标记数据质量的严格要求对实际实施提出了挑战。 然后，随着大型语言模型 （LLM） 的巨大成功，越来越多的研究人员开始探索使用 LLM 来解决攻击图构建问题。 这些开创性的工作探索了将 LLM 应用于攻击图构建任务的方法。 例如，使用 In-Context Learning （ICL） 将 LLM 应用于威胁数据自动标记等攻击图构建会话[10]、威胁实体识别[11]和威胁事件提取[12]. 与传统方法相比，基于 LLM 的方法在有效性、可用性和可扩展性方面表现出优势。

尽管基于 LLM 的方法具有优势，但现有研究往往忽略了 CTI 报告中丰富的多模态信息，例如攻击过程图、案例研究图和系统截图。我们将这些包含威胁相关内容的视觉材料称为“威胁图像”。 如图 1 所示，威胁图像表现出复杂性和多样性。威胁图像根据其功能类型分布在 CTI 报告的不同位置，提供相应攻击场景的视觉证据，补充文本描述，并提供独特的见解。忽略这些图像可能会限制攻击图构建的深度和准确性。如何解析威胁图像以增强攻击图仍然是一个紧迫的研究空白。

为了弥合这一差距，我们的目标是将图像集成到网络威胁分析中，以构建多模态攻击图。 尽管图像理解研究已经很成熟，但这项任务我们面临着三个主要挑战[13,14,15]: 首先，特定领域的知识是必不可少的。分析文本网络安全数据需要领域知识，以增强 LLM 对威胁上下文的理解[11,12].同样，现有的通用 LLM 缺乏有效解析网络特定视觉语义（例如，网络图、入侵检测警报）的固有机制，从而限制了它们对威胁图像分析的适用性（挑战 1）。 其次，一张图片胜过千言万语。我们需要确定如何精确、快速地从威胁图像中捕获最关键的信息，用于构建攻击图谱。因此，需要一种新的提示方法来释放 MLLM 的潜在功能（挑战 2）。 最后，威胁信息提取的质量至关重要。 以前的研究[16]已经表明，通过图像特征探索提高性能通常取决于大量标记的训练数据。但是，这些数据在不同任务定义中通常缺乏泛化性。因此，迫切需要一种能够优化提取的威胁图像信息的自我监督机制（挑战 3）。

为了解决上述挑战，我们开发了一种新的多模态攻击图构建框架，称为 MM-AttacKG。 具体来说，为了解决第一个挑战，我们将网络安全知识集成到威胁图像解析中。在 LLM 使用中，提示学习和知识介绍可以提高威胁图像信息解析的专业知识和相关性。 然后，为了解决第二个挑战，我们将威胁图像解析重新定义为一个迭代问答过程，其灵感来自人类头脑风暴。每个问题都针对攻击图构建的一个特定方面。 在每次迭代期间，都会系统地生成问题，以探测网络安全领域内图像的关键方面，确保有针对性地探索其有意义的影响。 最后，为了应对第三个挑战，我们建立了两个答案优化范例。从不同维度评估答案内容，并进一步优化解析的威胁信息，以提高威胁信息提取的质量。 为了评估我们的方法，我们通过整合来自威胁情报的图像构建了一个探索性数据集。 我们将数据集称为 AG-LLM-mm。 最终评估结果表明，在辅以视觉信息的情况下，多模态攻击图比基于文本的攻击图具有更丰富的威胁信息。 主要贡献如下：

• • 

  据我们所知，这是在 LLM 时代探索用于攻击图构建的视觉信息的第一项全面研究。

• • 

  我们设计了一个多模态攻击图构建框架，用于识别威胁图像信息并将其集成到基于 LLM 的攻击图构建过程中。

• • 

  大量的实验证明，我们的框架能够有效地识别威胁图像中嵌入的重要信息，并且可视化信息可以提高攻击图谱构建的完整性。此外，这些发现为未来的研究指明了有前途的相关方向。

在本节中，我们回顾了三个分支的相关工作：1） CTI 报告提取，2） 网络安全的 LLM。3） 网络安全的多模式。

感染指标 （IoC）。 结构化 IoC 共享仍然是开源 CTI 框架的基石，平台和研究证明了这一点，例如[17,18,19,20].这些系统对属性进行编目，包括恶意文件哈希、进程标识符和恶意软件元数据[21,22,23].然而，它们对孤立、低保真数据的依赖限制了它们在重建多阶段对抗性活动中的效用，因为它们无法捕捉指标之间的上下文或行为联系。

非结构化文本智能提取。 网络安全社区已经开发了先进的方法，将非结构化威胁报告转化为可作的情报。 Ramnan 率先从非结构化 CTIi 中自动提取漏洞利用模式和缓解策略[24].Ghazi 的后续工作建立了关联提取的威胁概念的框架[25]，而 Ghaith 则引入了信息论指标（熵和互信息）用于安全上下文中的文本分析[26]. EXTRACTOR 系统[2]生成的攻击行为图，没有特定于域的文本假设，补充了网络关系三元组的联合提取方法[27]. 毛[28]解决了威胁作提取中的共指解决挑战，而[29]通过多粒度特征提取缓解了 OOV 问题。TA-GCN 等高级神经架构[30]和 KnowCTI[31]通过集成领域知识和依赖关系感知嵌入，进一步改进了实体关系建模。

TTP 识别和作化。 MITRE 技术、策略、程序 （TTP） 矩阵[32]已成为网络威胁对抗模式识别的事实分类标准。最近的进展包括： 上下文感知 TTP 提取方式[5]支持实时防御编排，而 Ayoade 则根据异构威胁报告自动进行 TTP 分类和缓解映射[33]. Ge 采用具有条件概率的语义影响评分进行 TTP 预测[34]，而 Liu 的 ATHRNN 架构通过 transformer-recurrent 混合网络捕获分层 TTP 依赖关系[35]. TCENet 框架通过直接从 TTP 描述生成 Sigma 规则，在 TTP 和运营防御之间架起桥梁[36].

多模态学习通过融合异构数据源来增强对威胁的理解。

多模态数据融合和威胁检测。 在网络威胁分析和建模领域，Nirnimesh 提出了一种基于多模态图的方法，用于建模和分析网络攻击[37].这项工作通过将网络攻击的阶段、参与者和结果表示为多模态图，构建了一个包括受害者、对手、自主系统和网络事件的综合分析框架。 多模态数据融合技术广泛用于关键基础设施保护和威胁检测。例如，Nikolaos 提出了一个基于多模态数据融合和自适应深度学习的攻击检测框架，用于解决关键水基础设施对网络攻击的脆弱性[38].该框架通过集成多模式数据来改进攻击检测。此外，Li 还提出了一种基于 LLM 的网络钓鱼攻击检测方法，该方法结合了网页的图像和文本信息，以克服传统基于单模态的方法的局限性[39].

多模态威胁信息识别。 网络威胁情报的自动提取是多模态学习的另一个重要应用领域。Zhang 提出了 EX-Action 框架，该框架通过自然语言处理技术从 CTI 报告中提取威胁行为，并将其与多模态学习算法相结合，以识别威胁行为[40].同样，Xiao 提出了一种基于多模态和多级特征融合的高级持续威胁参与者归因方法 （APT-MMF），解决了现有方法中忽略异构信息的问题[41].

多模态大型语言模型的安全性。 为了解决多模态学习模型的安全性问题，研究人员提出了各种防御机制。Liu 在多模态比较学习中提出了一种基于“机器忘记”的后门攻击防御机制，以减少恶意行为对模型推理过程的影响[42].Shan 揭示了文本到图像模型生成在大规模训练数据下对中毒攻击的脆弱性，并提出了一种“夜影”攻击方法，通过少量中毒样本精确控制模型输出[43].JailGuard 专注于大型和多模态语言模型对越狱和劫持攻击的脆弱性，并提出了一个通用检测框架，用于识别跨模态的多种攻击[44].

大型语言模型在网络安全中的应用已成为一个多方面的研究前沿。

系统的方法框架构成了 LLM 安全实施的理论基础。Kucharavy 为生成语言建模建立了基本的分类法，描绘了能力边界和实现原则[45].在此基础上，Wrsch 提出了一个用于网络安全知识实体提取的语义模式识别框架[46]，而 Pan 通过带有矢量数据库集成的检索增强架构在对数异常检测方面取得了突破[47]. 在复杂模式识别方面，Ferrag 展示了 FalconLLM 通过上下文推理识别多阶段攻击向量的有效性[48].Charan 定量评估了 LLM 在实施 MITRE ATT&CK 技术方面的能力，建立了 ChatGPT 和 Bard 之间的基准比较以生成战术代码[49]. 对于安全运营，Rigaki 在网络环境中部署了预先训练的模型作为自主代理，从而优化了顺序决策流程[50].Moskal 提出的链式提示工程框架通过计划-行动-报告周期构建威胁响应工作流[51]. 为了应对 LLM 领域适应挑战，Kereopa 构建了一个将专家案例分析与定量指标相结合的评估系统，而目前的研究通常面临增强模型网络安全特定认知的挑战[52].

目前关于多模态攻击图构建的研究没有严格的范式。 特定的应用程序场景会影响攻击图的特征和结构。 为了正式定义问题，我们在基于文本的攻击图谱工作中采用攻击图定义作为基础。

CTI 报告。CTI 报告是一种基于证据的结构化分析，包括有关现有或新出现的网络威胁的背景、机制、入侵指标、潜在影响和可行建议。它是网络威胁情报生命周期的关键输出，为组织提供可作的见解，以主动管理和缓解网络风险。

攻击图。攻击图是一种用于建模和分析网络攻击路径的图形表示方法。它说明了威胁事件中元素之间的关系以及攻击者发起攻击所采取的步骤，从而帮助安全分析师了解网络环境中的潜在威胁并评估系统的安全状况。

基于文本的攻击图构建。基于文本的攻击图从 CTI 报告的文本模态内容中获取威胁信息。给定历史威胁情报文本事件的集合E={e1,e2,…,ek}.此公式将提取每个威胁行为定义为四重奏(s,一个,o,t)，也称为原子事件，其中s,一个,o和t对应于当前威胁事件中的主题、威胁作、对象和时间戳。 在每个时间戳t，所有四元组构成一个事件图，表示为一个⁢Gt={(s,一个,o,t)}N哪里N是威胁事件中的原子事件数。 可以看出，该方案使用了一系列威胁动作来表征攻击图谱的演化过程。 此外，如图 2 所示，一些工作[1]重点介绍攻击图的 TTP（技术、策略、程序）标签的内容支持，以描述威胁原子事件映射到的网络威胁技术。 特别地，每个原子事件都是从四元组扩展而来的(s,一个,o,t)转换为五元组(s,一个,o,t,p)哪里s∈ℰ,一个∈一个,o∈ℰ和p∈P表示主题、威胁作、对象和 TTP 标签。 相应地，每个时间戳的原子事件将扩展为一个⁢Gt={(s,一个,o,t,p)}N. 值得一提的是，对于非语言关系的存在R在威胁事件中，R是一组未被忽略的非语言关系，而是用作悬挂在相关实体上的攻击图补充链接，但不用作攻击步骤描述。

Image-enhanced 的多模态攻击图构建。 基于基于文本的攻击图，引入与 CTI 报告中的结构化事件相关的图像以构建多模态攻击图，其中图像由V={v1,v2,…,vm}m=1M哪里M是图像的数量。图像增强攻击图构建过程分为多模态攻击信息提取和攻击图集成两个阶段。

• • 

  图像攻击信息提取。 此阶段基于文本化攻击图谱的内容汇总，从不同方面解析 CTI 报告图片中包含的攻击信息，为攻击图谱的构建提供额外的上下文和细节。

• • 

  多模式攻击图集成。 此阶段以从 CTI 报告中的图像中提取的攻击信息为基础，并从实体、关系和技术三个维度补充基于文本的攻击图。通过集成来自多种模式的威胁信息，它形成了图像增强的攻击图。

最后，多模态攻击图构建任务可以表征如下：给定历史威胁情报文本事件集合E={e1,e2,…,ek}和关联图像V={v0,v1,…,vm}，标识五元组(s,一个,o,t,p)从文本和图像形式中，可以描绘威胁事件的演变流程，形成多模态攻击图。

AttacKG+11https://github.com/multilayer-go/AttacKG-plus是一种基于大型语言模型的新型攻击图构建框架，旨在将文本网络威胁情报报告转换为结构化的攻击图。 该框架采用模块化设计来构建多层攻击图，包括四个模块：Rewriter、Parser、Identifier 和 Summarizer。每个模块都利用 LLM 的指令提示和上下文学习功能来按顺序执行报告重写、行为图提取、技术标签匹配和状态摘要等任务。 此外，AttacKG+ 引入了升级的攻击知识模式，将攻击过程表示为一个时间上展开的复杂事件。 每个时间步骤都包含三个层：行为图、TTP 标签和状态摘要，从而提供更全面的攻击过程特征。

通过利用 LLM 强大的语言理解和零样本学习能力，AttacKG+ 克服了传统方法在泛化能力和对新攻击场景的适应性方面的局限性。 鉴于 AttacKG+ 在文本模态威胁情报中的卓越处理性能，我们将其用作文本攻击图构造函数，用于多模态攻击图构建工作，如图 3 所示。 同时，我们通过其中的摘要功能模块获取当前报告的摘要信息（Global-Context）和图像上下文信息（Image-Aware-Context）作为威胁图像的解析支持。

图 3 概述了拟议的框架。 我们的方法 MM-AttacKG 由五个阶段组成，平滑实现了从威胁图像解析到攻击图多模态增益的流程。 第 4.1 节概述了头脑风暴程序，该程序旨在阐明威胁图像解析的关键方面。 第 4.2 节定义了威胁信息提取过程，该过程专门用于从威胁图像中准确提取与威胁相关的信息。 第 4.3 节介绍了问题过滤机制，该机制可以有效地筛选出符合构建攻击图标准的威胁信息方面。 第 4.4 节提出了两种优化范式，以提高威胁图像提取中的答案质量。 第 4.5 节介绍了攻击图集成方案，该方案可以将解析后的威胁图像信息集成到基于文本的攻击图中。

在多模态威胁情报分析中，准确解释特定于域的威胁图像对于构建攻击图至关重要。这些图像直观地描述了网络安全场景，并在攻击图中具有不同的角色和上下文链接。 头脑风暴阶段通过分析图像类型和关键特征来模拟人类认知，生成关键问题以确定图像解析的优先级，从而为后续工作奠定基础。

具体来说，在这个阶段，我们首先用一组初始问题来种子 LLM，称为引导问题（表 5）。 引导问题包含安全从业人员对不同类型的威胁图像感兴趣的一组一般问题，这些问题根据不同的图像类型进行分组。其次，LLM 在提示的指导下，根据图像内容和相应的引导问题为当前威胁图像生成一组一般问题。然后，为了更好地构建与从文本模态中提取的攻击图的任务关联，提示指导 LLM 根据单模态攻击图的结构和当前威胁图像的内容为图像生成一组特定于任务的问题。下面介绍了常规问题种子和特定于任务的问题种子。

• • 

  一般问题。 这种类型的问题侧重于挖掘有关图像本身所具有的属性的信息。 例如图像主题、图像类型和图像来源。 目的是提示 LLM 对图像本身的内容执行摘要。

• • 

  特定于任务的问题。 这种类型的问题侧重于构建攻击图时威胁图像面向任务的性质。 例如“攻击流图表现出的时间特征是什么？ 这样做的目的是激励 LLM 从攻击图构建任务中挖掘威胁图像信息。

其中，用于生成题库的提示显示在表 6 （Question Generation） 中。 在头脑风暴阶段之后，一般问题和基于任务的问题共同形成问题池，形成当前威胁情报图像的解析指南。

提取阶段建立在头脑风暴输出的基础上。它使用框架来帮助 LLM 对解析问题给出准确的答案。这种方法通过引入威胁图像上下文信息作为解析支持来创建高质量的答案，从而促进攻击图的构建。

具体来说，在生成题库后，我们将根据问题描述和威胁图像内容提示 LLM 回答问题。在这个阶段，我们重点通过回答相应的问题来挖掘威胁图片的内容。 在实际的威胁图像解析过程中，我们发现 LLM 在没有 CTI 上下文的情况下解析威胁图像时，结果模棱两可，缺乏逻辑可靠性。例如，答案仅描述抽象概念，无法识别特定的威胁对象。而这样的威胁信息并不适合作为构建多模态攻击图谱的依据。 为了解决这个问题，我们增强了 AttacKG+ 的摘要模块，通过图像标签定位提取两种类型的解析支持信息：图像感知上下文和全局上下文。第 5.5 节（消融研究）评估了它们对威胁信息提取的重要性。

• • 

  Image-Aware-Context 的 Context。在此设置中，Image-Aware-Context 派生自图像上下文段落的摘要，例如图像类型和分析方法，为威胁图像提供动态上下文信息。

• • 

  全局上下文。在此设置中，全局上下文源自威胁图像所在的 CTI 报告的内容摘要，包含 CTI 报告主题的大纲，并为威胁图像解析提供宏观语义框架。

我们通过规则设置从内容限制、主题相关性和表达式格式三个方面控制输出。问答提示的模板如表 6（问答）所示。

问题过滤旨在更有针对性和更有效地解析威胁图像，从而排除不相关的问题。 这是因为问题的质量在很大程度上决定了其答案对攻击图构建的帮助程度。 问题筛选模块包括两个阶段：直接相关问题捕获和面向答案的问题捕获。

• • 

  直接相关问题捕获。 直接关联问题捕获的思路是以攻击图摘要和领域规则为基础，提示 LLM 判断问题的质量。 此方法适用于问题的直接表述具有域特征的情况。 例如，“此映像中恶意脚本的功能角色是什么。在这种情况下，“恶意脚本”具有很强的网络安全域上下文。

• • 

  面向答案的问题捕获。 面向答案的问题捕获的思路是先生成对应问题的答案，然后根据答案的内容和 LLM 的提示来判断问题的质量。 该方法适用于问题直接表述不具有领域特征或领域特征较弱的情况。 例如，“此图像中的图表反映了什么趋势？问题的描述没有直接的域特征，而是基于图表的图像识别和嵌入文本描述。 可能会获得威胁信息，这将有助于构建攻击图。

在对威胁图像解析阶段生成的问题集进行筛选后，我们将上述两类问题进行了标注，并融合到构建多模态攻击图谱的候选问题集中。

在完成问题库 （Q） 构建和问题筛选后，我们将问题与当前威胁图像一起输入到 LLM 中，以获得相应的问题答案集，称为答案池 （A）。 具体来说，这些答案是我们从一般和任务角度对威胁情报图像的分析。但是，我们必须注意两个问题： 首先，有必要确定当前生成的问题与攻击图构建相关，而不是细节。 其次，我们需要确保手头问题的答案是优越的。

为了解决上述问题，我们为 LLM 建立了一个自学模块，以帮助通过迭代问答来优化答案生成的质量。 在这里，我们借鉴了文本答案优化的思想，提出了两种基本的提示优化范式，问题导向 （Q-Led） 和答案迭代 （A-Iteration）。 具体来说，在完成答案相关性分析后，我们建立了一个答案评估模块来评估生成的答案的质量。 答案的质量标准分为四个级别，包括： 失败、满意、好、优秀。 如表 1 所示，通过指导 LLM 从准确性、一致性、完整性和相关性四个维度进行评估，实现答案质量的评估。 准确性表示答案是否准确回答了相应的问题。 一致性表示答案是否保持内容与威胁图像信息的相关性。 完整性表示答案是否充分回答了相应问题的需求。 相关性表示答案在表示方面是否适合网络安全领域。

对于低于 good 级别的答案，我们将执行答案细化。 答案细化迭代轮数的停止条件是 （1） 当前答案达到 “excellent/good” 或 （2） 达到设定的迭代阈值。 答案细化过程中采用的优化方法如下：

如公式 1 所示，IA当前表示当前轮次的威胁图像提取答案 IA最后表示上一轮的威胁提取答案，Image 表示当前需要解析的威胁镜像文件。答案迭代的思路是通过将生成的答案和所属图像共同输入到 LLM（无历史记录）中来评估答案。然后，LLM 将输出当前答案的质量评级和优化的评论。然后，在下一次迭代中根据优化注释优化当前答案。

相反，如等式 2 所示。 建议当前代表 LLM 在上一轮中根据答案和图片内容给出的优化技巧。问题指导的理念是通过将生成的答案和所属图像共同输入到 LLM（无历史记录）中来评估答案。 然后，LLM 将输出当前图像的质量评级和目标优化解析指南。 值得注意的是，该建议与答案评论不同。 该建议并非针对上一轮的答案，而是为 LLM 提供了一个大纲，以便更全面地理解图像。 在下一轮中，问题，指南沿线的图像将被一起输入到 LLM 中，以获得新一轮的答案。

对上述两种答案细化范式的处理可以有效提高针对网络威胁情报图像的响应质量。 答案优化提示的模板如表 6 （Answer Optimization） 所示。

根据 3.1 节中的问题表述，本节提出了一个基于 LLM 构建多模态攻击图的框架。 AttacKG+ 构建基于文本的攻击图主要涉及 （1） 威胁行为提取和 （2） TTP 标记。 这两个子任务分别从网络威胁情报中识别行为层面和技术层面的威胁信息，并描绘整个威胁事件的演变流程。 具体如下：对于网络威胁情报，该方法以文本模态的网络威胁情报作为输入。 首先，通过 STIX 2.0 标准构建攻击图本体模型[53]，然后是威胁原子事件(s,一个,o,t)根据本体模型进行提取，其中t源自智能中该原子事件的相对时间。 然后，通过 MITRE ATT&CK 的 TTP 矩阵构建技术标签字典[32]，标识与原子事件对应的技术标签，并展开以形成五元组(s,一个,o,t,p). 接下来，根据时间戳t、攻击图一个⁢Gt={(s,一个,o,t,p)}N形成。

值得考虑的是，图像解析模块会为给定的图像生成多个问题及其相应的答案。 但是，源自同一威胁图像的答案不一定对应于攻击图中的相同原子事件。 这是因为图像中的信息可以补充威胁事件的不同方面。 例如，攻击流程图中的内容涉及整个当前威胁事件的流程信息。 为了解决这个问题，我们将每个问题构建为相应的 “威胁增强参考”。 然后，以威胁增强单元作为参考信息，实现攻击图的结构增强。

首先，我们使用 LLM 合并图像主题、问题及其相应的答案，以形成从当前威胁图像中提取的威胁增强参考。 例如，“This is the temporal description （Question） of the protocol attack flowchart （Image Theme） as follows：（Answer）”（问题）”。 在这种情况下，协议攻击流程图是当前威胁图像的主题，时态描述是对应的特定问题，具体内容是通过头脑风暴、提取、验证三个阶段得到的答案。 然后，我们使用威胁增强信息作为基础来关联和增强当前的攻击图。 我们规范了威胁图像攻击图谱的三种功能增强：

• • 

  Node 扩展。 通过威胁图谱信息添加新节点或查看已有攻击图谱的节点描述，以补充数据或攻击资源。

• • 

  关系更新。 如果图像显示新的攻击作（例如 deliver 或 execute），请添加或替换关系和描述。

• • 

  技术添加。 根据 MITRE ATT&CK 框架匹配添加的技术（例如 T1204.002-User Execution）。

通过 LLM 对威胁图像的针对性解析和融合，可以将攻击图谱与威胁图像相结合，在数据完整性、结构流、技术丰富性三个层面上得到大幅提升。

我们进行了广泛的实验来回答以下研究问题：

• • 

  RQ1：MM-AttacKG 如何对抗现有的威胁信息提取器？（参见第 5.2 节）

• • 

  RQ2：MM-AttacKG 在利用威胁图像信息增强攻击图谱方面的效果如何？（参见第 5.3 节）

• • 

  RQ3：MM-AttacKG 中的每个关键模块是否有效？（参见第 5.4 节）

• • 

  RQ4：每个技术模块在 MM-AttacKG 框架中如何运作？（参见第 5.5 节）

为了确保 MM-AttacKG 评估阶段的合理性和可重复性，我们描述了实验设置，包括数据集、基线方法和实施细节。

为了评估 MM-AttacKG，我们通过从 Cisco Talos Intelligence Group 收集网络威胁情报报告来构建数据集[54]、Microsoft 安全智能中心[55]. 我们使用 AMinerU-PDFScanner22https://github.com/liuhuapiaoyuan/MinerU-PDFScanner将每个 CTI 报告提取为两部分：文本内容和威胁图像。对于文本内容，我们使用 AttaKG+ 中提供的构建流程将其提取到攻击图中[12]，然后手动验证提取结果。对于威胁图片，我们遵循以程：首先，由于布局的原因，原始 CTI 报告或网页往往包含大量不相关的、低质量的威胁图片。 因此，我们初步筛选出存在以下问题的威胁图片。 （a） 包含不相关的信息，如徽标、广告等。（b） 存在遮挡或强水印;（c） 信息量较弱的视觉样本;（d） 图像质量差或清晰度不足;以及 （e） 残缺的图像或不完整的图形。 然后，为了实现这一点，我们设置了图像规则过滤规则，编写了提示方案，并使用 LLM 来分析图像的内容和板子样式，以消除不相关的图像。同时，我们安排了具有网络安全背景的研究人员再次进行校对。 最后，我们集成文本内容和威胁图像。 然后将数据集命名为 Attack Graph-LLM-m ulti modal，AG-LLM-mm 的缩写。 我们团队的三名研究生参与了 CTI 报告的人工评估。参与者在单独完成评估后交换了意见，并进行了二次讨论，以获得全面的评估。

为了评估 MM-AttacKG 在威胁信息提取和图像增强攻击图集成方面的有效性，我们将其与四个基于文本的威胁信息提取器（例如 AttacKG[1]、 EXTROCTOR[2]、AttacKG+[12]). 同时，我们迁移了两种基于 LLM 的方法 （ICL[56]和 CoT[57]） 添加到多模态威胁信息提取和攻击图聚合任务中。 更多详细信息见附录表 7 和表 8。

由于网络安全领域需要透明的信息处理和防止信息泄露，商业 API 服务可能会不稳定并面临服务限制。 我们选择使用 Qwen 中的开源多模态大型语言模型[2]系列（例如，Qwen2.5-VL-72B、Qwen2.5-VL-32B、Qwen2.5-VL-7B）进行相关实验。 我们在阿里云云服务器 （ECS） 上托管了大型语言模型33阿里云-计算，为了无法计算的价值.实例，并在 Python 3.10.14 环境中开发了所有实现模块。 为了确保研究的可重复性，我们将使用的专有 LLM 的温度参数固定为 0.7 并将种子参数设置为常数值。 同时，为了保持实验的可管理性，对于不同的 LLM 提示方法，我们为它们提供完全相同的上下文，并以相同的格式指定输出限制。 ETHOD 中，我们开启了相关的 Optimization 设置，以保证 Attack Graph 的构建质量。 为防止无效响应，我们在解析威胁图像时将最大输出长度限制为 512 个令牌。

本实验旨在通过计算可从 CTI 报告中挖掘的威胁信息来量化图像在增强 CTI 理解方面的有效性。具体来说，我们分析了引入视觉信息后威胁信息提取的性能改进。

根据第 3.1 节中的问题表述，网络威胁事件由按时间顺序排列的多个威胁原子事件组成。 这些原子事件在威胁行为图中表示为相互关联的五重奏(s,一个,o,t,p)哪里s和o协调实体提取和作一个和实体-实体关系被协调以进行关系提取。p表示当前行为中涉及的 TTP 技术标签。 通过解析威胁图像信息，可以获得更多信息以引入攻击图。 获得的信息包括三个方面： （1） 实体。网络威胁行为中的主体和客体。 （2） 关系。描述 Cyber Threat Behavior 中主体和客体之间的相关性。 （3） 技术。基于 TTP 矩阵的威胁图像中的挖掘技术标签。 表 2 总结了 MM-AttacKG 在多模态威胁信息提取方面的有效性。 我们的发现是：

（1） 多模式集成的优点。与基于文本的方法相比，图像增强方法在实体提取、关系提取和技术识别任务方面表现出卓越的性能。这表明，整合视觉信息可以显著提高威胁情报挖掘效率，并增强对复杂威胁场景的感知。

（2） 图像增强方法比较。在多模态方法中，MM-AttacKG 模型在所有三个子任务中都取得了相对于 ICL 和 CoT 的优异 F-1 分数。这表明 MM-AttacKG 的架构提供了更强的多模态集成能力和语义理解能力，为网络安全威胁情报分析提供了更可靠的基础。

（3） 子任务难度差异。技术标识的 F-1 分数明显较低（例如，技术标识中的 AttacKG+ 为 0.4491，而实体/关系提取中的 AttacKG+ 为 0.6274 和 0.7222）。这凸显了技术识别任务的高度复杂性，并强调了改进算法以增强该领域的语义解析能力的必要性。

（4） 手动注释的限制。尽管人工文本注释的精度很高，但由于缺少图像信息，因此召回率较低。此外，此过程是劳动密集型的。对领域专家的依赖进一步限制了可扩展性和实时适用性。这些因素凸显了在网络安全环境中进行大规模数据处理和持续监控时对自动化方法的迫切需求。

为了解决 RQ2 问题，我们引入了上下文提示学习 （ICL） 和思维链 （CoT） 作为构建多模态攻击图的比较方法。ICL 使 LLM 能够直接从输入示例或说明中学习以完成任务。CoT 允许学习者通过分步推理来解决问题，模仿人类解决复杂问题的思维过程。MM-AttacKG 通过整合头脑风暴、提取和验证三个阶段的提示，增强了攻击图构建的性能。

对于实验设置中的数据集，我们在 Qwen-VL 的三个版本中实现了上述提示方案。我们从实体、关系和利用图像模态信息的收益方面评估了攻击图的性能。即，在实体、关系和技术级别，更新的多模态攻击图在基于文本的攻击图上的增量信息。评估结果如图 5 所示。 实验结果表明：（1）在所有版本的大型语言模型中，MM-AttacKG在实体、关系和技术维度的信息增益方面优于其他两种提示方案。（2） 我们观察到不同 LLM 版本中 ICL 的性能波动最显着，这表明仅提供作示例会导致 LLM 在 CTI 图像解析和攻击图构建方面的鲁棒性不佳。尽管 CoT 提示方案在构建跨各种 LLM 版本的多模态攻击图方面表现出很强的鲁棒性，但其链状思维过程缺乏性能增强的主动指导机制，导致信息获取有限。综上所述，MM-AttacKG 作为多模态攻击图构建方案具有优势。

在我们的研究中，为了评估支撑环境和各种组件对 MM-AttacKG 性能的影响，我们通过控制去除支撑环境和关键模块进行了两种类型的消融研究。 为了确认支持信息在威胁图像信息提取中的促进作用，我们删除了特定的配置，即 Image-Aware-Context&Global-Context、Image-Aware-Context 和 Global-Context。 为了验证关键组件对威胁图像信息提取的重要性，我们移除了 Brainstorming&Verification、Brainstorming 和 Verification 的设置。 这些消融实验的结果如 表 3 所示。

（1） 多模态融合优势。MM-AttacKG 通过将 Image-Aware-Context 和 Global-Context 与组件协作（头脑风暴、提取、验证）集成在一起，在实体识别和关系提取方面明显优于纯文本变体。这凸显了多模态融合在增强威胁信息识别方面的有效性，使其成为模型性能的关键驱动因素。

（2） 文本支持的协同作用。Image-Aware-Context 和 Global-Context 支持在不同任务中分别使用 Excel。Image-Aware-Context 支持通过动态上下文提高关系提取召回率，而 Global-Context 支持通过宏语义框架提高实体识别精度。正是它们的协同作用有力地提高了模型在众多任务中的性能。

（3） 模块协作优势。比较没有验证模块的变体和没有头脑风暴和验证模块的变体，可以发现仅删除验证可以提高实体识别，但会损害威胁信息提取。完整的 MM-AttacKG 模型在所有任务中实现了更好的平衡和略胜一筹的性能，证明了其组件配置有效地满足了不同的任务需求。

（4） 整体性能和设计合理性。MM-AttacKG 在实体识别、关系提取和威胁信息提取方面提供始终如一的强大性能。这验证了它在多任务场景中的有效性和健壮性。

鉴于我们的方法是一个由多个模块组成的攻击图构建管道，为了解决 RQ4，我们将这个问题分为三个方面：头脑风暴模块产生的问题的多样性、问题过滤模块的必要性以及答案梳理模块的优越性。 对于头脑风暴模块，我们关注基于引导性问题生成的问题集是否能够充分覆盖挖掘 CTI 图像的更多要点，以及问题之间是否有足够的区分。 对于问题过滤模块，我们关注问题过滤的必要性，以及通过这种方法可以减少 CTI 图像中多少不必要的注意力信息。 对于答案细化模块的优越性，我们关注随着迭代轮次的增加，不同质量水平的答案分布的变化。然后，分析两种优化范式之间的差异。

在头脑风暴阶段，产生了两种类型的问题，即一般问题和特定任务问题。 平均每张 CTI 图像生成 21 个问题，数量与人工判断场景相当。表 5 中提供了具体的问题示例。 为了评估问题多样性，我们采用了工作中的单调性指标[58]. 在这里，通过测量针对相同威胁图像的问题之间的相似性来评估单调性。较高的单调性表示问题越多，相似度越高，因此多样性越差。 我们分析了数据集中 10 张 CTI 图像的随机样本的问题集的单调性，结果如图 6 所示。 我们发现 （1） 问题的数量随 CTI 图像而变化，这反映了 CTI 图像的信息丰富度会影响生成的问题数量。信息越丰富，挖掘的威胁信息就越多。 （2） 问题集的单调性保持稳定并接近 [1]，表明生成的问题之间的相似性较低，因此表现出高度多样性。

问题筛选模块旨在从直接关联和面向答案两个方面捕获一组重要问题，从而通过筛选提高头脑风暴阶段生成的问题的整体质量。在 AG-LLM-mm 的构建过程中，最初生成了 1,281 个问题。然而，其中一些问题的措辞不明确或相关性低。问题筛选后，整体问题分布如表 4 所示。 可以观察到： （1） 直接相关题的比例为 0.4699，面向答案的题的比例为 0.4185。这表明仅使用问题直接表达策略来过滤相关问题会错过 CTI 图像的许多有价值的方面。 （2） 无关问题占 143 个，说明头脑风暴阶段产生的初始问题集无法保证完全满足攻击图构建的要求。 因此，需要进一步筛选问题。

答案优化模块基于优化范式，对 CTI 图片的多轮解析结果进行细化，以提升答案质量。我们提出了两种优化范式：问题导向和答案迭代。Question-led 侧重于将当前答案作为案例研究，为下一轮答案提出优化建议，而 Answer Iteration 强调对当前答案的补充和优化。 为了评估答案优化模块在提高答案质量方面的有效性，我们设计了一个如图 7 所示的实验，将优化轮数从 1 到 4 设置，并跟踪每轮答案质量的变化。 在这里，我们将答案设置为在分数为优秀或良好时标记为正，表示满足质量要求，在不符合质量要求时标记为负（不及格/满意）。 结果表明：（1）随着优化轮数的增加，答案的整体质量评分持续提高，证明了答案细化模块在提升答案质量方面的有效性。（2） 问题导向的优化范式更容易收敛，这表明根据建议提出新答案可能比提炼当前答案更有效地解决问题。 （3） 随着优化轮数的增加，答案细化效果逐渐降低，这意味着逐渐接近优化极限。

本节通过案例研究深入探讨 MM-AttacKG 在实际安全任务中的有效性。在网络安全领域，专业人士和研究人员经常根据 CTI 报告对现有威胁进行深入分析。这个过程集中在两个关键方面：一是从错综复杂的事件信息中准确提取与攻击过程相关的核心实体，去除不相关的冗余;二是弥合 CTI 报告与实际攻击之间的固有知识差距，从而精确确定战术阶段和识别攻击技术。这种分析在很大程度上依赖于对文本和图像信息的综合评价和信息提取。

MM-AttacKG 凭借其独特的优势，利用结构化知识进行深入的事件分析，有效地满足了上述两个目标。如图 8 所示，基于 MM-AttacKG 的先进理念，首先，它对威胁文本进行解读，从结构上描述攻击过程或事件，准确构建基于文本的攻击图谱。然后，解析提取威胁图谱信息，与基于文本的攻击图谱无缝集成，创新性地形成多模态攻击图谱。 我们使用 pyvis 为 MM-AttacKG 创建了一个直观高效的可视化界面44https://github.com/WestHealth/pyvis.

以 Stuxnet 蠕虫攻击为例。MM-AttacKG 首先从文本描述中准确提取威胁事件场景的结构化知识。它可以清楚地识别攻击中的 6 个关键战术阶段和 14 种具体技术，例如使用 T1091-Replication Through Removable Media 进行初始访问，使用 T1574-Hijack Execution Flow 执行，T1055-Process Injection 进行防御规避。接下来，根据与威胁事件相关的技术和实体，MM-AttacKG 准确推断出入侵活动的复杂系统环境。具体来说，攻击图详细说明了 Stuxnet 蠕虫如何通过恶意 获得初始访问权限。LNK 文件和漏洞，通过主模块实现精准的系统控制和持久化，利用零日漏洞提升权限。它可以扫描网络共享的横向移动，并采用各种复杂的技术来逃避检测。最后，它通过加密通道与 C&C 服务器通信以接收更新和指令，并采用威胁行为实现对工业设备正常运行的严重干扰。

值得注意的是，在整合威胁图像信息后，MM-AttacKG 在报告中捕获了三种新技术（T1003-OS 凭证转储、T1107-函数钩子、T1546-事件触发执行），这些技术来自对相应威胁图像的深度信息提取。同时，MM-AttacKG 提供更详细的实体集，揭示更深、更隐蔽的威胁关系，准确补充和改进攻击流程。 这丰富并优化了攻击图对威胁事件的描述，成功地将文本和图像集成到高级多模态攻击图中。 综上所述，MM-AttacKG 以其卓越的性能为重建威胁事件提供了坚实可靠的关键信息基础，在网络安全分析中显示出巨大的应用潜力和价值。

在这项工作中，我们通过分析图像信息在网络威胁情报分析过程中的作用，首次将 CTI 图像引入攻击图构建。

利用 LLM 卓越的多模态信息理解能力，我们提出了一种基于 LLM 的自动化框架 （MM-AttacKG） 来构建多模态攻击图。鉴于 MLLM 的性能优势和 CTI 图像的解析需求，我们设计了一个集头脑风暴、提取、验证和集成于一体的多阶段提示方案。作为副产品，我们构建了多模态威胁情报数据集 AG-LLM-mm。最后，通过详细的实验，我们证明了合并 CTI 图像可以提高攻击图的整体性能，并且 LLM 在多模态攻击图构建方面具有巨大潜力。

在这项工作中，我们提出了一种新的多模态攻击图构建方法，并使用 LLM 开发了一个自动图像模态信息提取管道。尽管 MM-AttacKG 新颖有效，但在 CTI 解析中仍然存在局限性和需要进一步研究的领域。

进一步集成多模式信息。 当前针对多模态威胁信息的分析过程将不同的模态分开并单独理解，但不同模态的解析要求可能是相互依存的。因此，构建端到端工作流以同时分析不同形式的威胁信息并执行交叉验证和支持，可以更深入地了解 CTI。

多源威胁报告的联合分析。 多个威胁行为者之间可能存在事件关联，例如同一恶意软件的不同应用程序场景和目标。通过跟踪恶意软件的版本迭代，可以推断出防御策略与攻击者以及未来潜在受害者之间的持续对抗。分析多源威胁情报以构建联合分析策略可以更深入地了解威胁的演变。

培训特定领域的网络安全 LLM。 通用大型模型在处理复杂的网络安全问题方面仍然存在差距。因此，探索如何使用特定领域的数据预训练 LLM 并执行有针对性的优化是有价值的，并且可以降低处理成本。