视觉语言模型（VLA）分类方法体系
视觉语言模型（Vision-Language Models, VLA）的分类方法可从功能设计、结构特性、训练范式和应用场景四大维度展开。不同分类方法反映了模型的核心设计理念与技术路径，以下为系统化梳理：
一、按功能设计划分
1. 认知层级：高级-低级系统
核心思想：模仿人类认知的分层处理机制。
- 高级系统（“大脑”）：负责语义理解、推理与生成（如回答复杂问答、生成图像描述）。
案例：BLIP-2的Q-Former模块通过跨模态注意力实现高层次对齐。 - 低级系统（“小脑”）：处理感知层任务（如图像特征提取、文本分词）。
案例：CLIP的视觉编码器（ViT）快速提取图像嵌入。
2. 响应速度：快-慢系统
核心思想：平衡实时性与深度处理需求。
- 快速系统：基于预训练特征快速响应（如实时图像检索）。
案例：ALIGN的向量相似度计算仅需毫秒级。 - 慢速系统：迭代优化生成质量（如文本到图像的扩散模型）。
案例：Stable Diffusion通过多步去噪生成高分辨率图像。
二、按结构特性划分
3. 架构设计：分层 vs 端到端
- 分层模型：模块化设计，各阶段解耦（如先检测物体再生成描述）。
优势：可解释性强；缺点：误差累积。
案例：早期模型Faster R-CNN+CNN-LSTM。 - 端到端模型：一体化训练，输入到输出直接映射。
优势：性能上限高；缺点：数据需求大。
案例：OFA（One-for-All）统一多任务框架。
4. 模态交互：显式对齐 vs 隐式融合
- 显式对齐：强制跨模态特征匹配（如对比学习）。
案例：CLIP的图像-文本对比损失函数。 - 隐式融合：通过注意力机制自动学习关联。
案例：Flamingo的交叉注意力层。
三、按训练范式划分
5. 训练阶段：预训练 vs 微调
- 预训练模型：通用多模态表示学习（通常需亿级数据）。
案例：BEiT-3在1800万图像-文本对上预训练。 - 微调模型：领域适配（如医疗、零售场景）。
案例：BioVIL将CLIP微调至医学影像报告生成。
6. 监督信号：有监督 vs 自监督
- 有监督学习：依赖人工标注（如COCO标注数据集）。
- 自监督学习：利用数据内在结构（如掩码语言建模）。
趋势：现代VLA（如PaLI-3）更多采用自监督预训练。
四、按应用场景划分
7. 任务类型：生成式 vs 判别式
- 生成式模型：输出新内容（如DALL-E 3生成图像）。
- 判别式模型：分类/检索（如图像-文本匹配）。
8. 通用性：任务专用 vs 通用基座
- 专用模型：优化单一任务（如GIT专攻视频描述生成）。
- 通用模型：支持多任务零样本迁移（如GPT-4V）。
五、其他关键维度
9. 模态支持：单模态扩展 vs 原生多模态
- 单模态扩展：将文本/视觉模型拼接（如早期LSTM+CNN）。
- 原生多模态：设计时即考虑跨模态（如CoCa）。
10. 模型规模：轻量级 vs 超大参数
- 轻量级：移动端部署（如MobileVLM 1B参数）。
- 超大模型：千亿级参数（如PaLM-E 562B）。
| 维度 | 设计考量 | 典型场景 |
|---|---|---|
| 高级-低级系统 | 复杂任务需分层处理 | 自动驾驶（感知+决策） |
| 快-慢系统 | 实时性要求 vs 质量要求 | 实时翻译 vs 艺术创作 |
| 显式对齐 | 需强模态关联（如医学影像诊断） | 跨模态检索 |
总结
VLA的分类需多维交叉考量，例如：
- 医疗领域：优先选择显式对齐+分层设计（如CheXzero）。
- 消费级应用：倾向端到端+轻量级（如MiniGPT-4）。
未来趋势
倾向于通用基座模型（如GPT-4V）与垂直领域微调的结合，同时需平衡计算效率与性能。