支持图像和视频理解多模态开源大模型：CogVLM2 CogVLM2-Video

CogVLM2和CogVLM2-Video是新一代的开源模型，支持图像和视频理解，具有显著的性能提升。最近发布的更新包括CogVLM2论文的发表、在线演示和对视频理解的支持，能够处理最多1分钟的视频。新模型支持中英文，文本长度可达8K，图像分辨率高达1344x1344，且在多个基准测试中表现优异。开发者可以通过提供的API和演示快速入门。

来源：https://github.com/THUDM/CogVLM2
论文：https://arxiv.org/pdf/2408.16500

以下内容来源github翻译：

CogVLM2 & CogVLM2-Video

近期更新

• 🔥 News: 2024/8/30: CogVLM2论文已经发布到arXiv。
• 🔥 News: 2024/7/12: 我们开放了 CogVLM2-Video 在线体验网址， 欢迎前往体验。
• 🔥 News: 2024/7/8: 我们发布了 CogVLM2 模型的视频理解版本 CogVLM2-Video
  模型，通过抽取关键帧的方式，实现对连续画面的解读，该模型可以支持最高1分钟的视频。阅读我们 博客
  查看更多信息。
• 🔥 News：2024/6/8：我们发布 CogVLM2 TGI 模型权重
  ，这是一个可以在 TGI
  环境加速推理的模型。您可以使用这里的代码在TGI上运行 CogVLM2 模型。
• 🔥 News：2024/6/5：我们发布 GLM-4V-9B，它使用与 CogVLM2 相同的数据和训练配方，但以
  GLM-4-9B 作为语言主干。我们删除了视觉专家，以将模型大小减小到
  13B。更多详细信息，请参阅 GLM-4 repo。
• 🔥 News：2024/5/24：我们发布了 Int4 版本模型，仅需要 16GB 显存即可进行推理。欢迎前来体验！
• 🔥 News：2024/5/20：我们发布了 CogVLM2 模型，它基于 llama3-8b，在大多数情况下与 GPT-4V 相当（或更好）！欢迎下载！

模型介绍

我们推出了新一代的 CogVLM2
系列模型并开源了两款基于 Meta-Llama-3-8B-Instruct
开源模型。与上一代的 CogVLM 开源模型相比，CogVLM2 系列开源模型具有以下改进：

1. 在许多关键指标上有了显著提升，例如 TextVQA, DocVQA。
2. 支持 8K 文本长度。
3. 支持高达 1344 * 1344 的图像分辨率。
4. 提供支持中英文双语的开源模型版本。

您可以在下表中看到 CogVLM2 系列开源模型的详细信息：

模型名称	cogvlm2-llama3-chat-19B	cogvlm2-llama3-chinese-chat-19B	cogvlm2-video-llama3-chat	cogvlm2-video-llama3-base
基座模型	Meta-Llama-3-8B-Instruct	Meta-Llama-3-8B-Instruct	Meta-Llama-3-8B-Instruct	Meta-Llama-3-8B-Instruct
语言	英文	中文、英文	英文	英文
任务	图像理解，多轮对话模型	图像理解，多轮对话模型	视频理解，单轮对话模型	视频理解，基座模型，不可对话
模型链接	🤗 Huggingface 🤖 ModelScope 💫 Wise Model	🤗 Huggingface 🤖 ModelScope 💫 Wise Model	🤗 Huggingface 🤖 ModelScope	🤗 Huggingface 🤖 ModelScope
体验链接	📙 Official Page	📙 Official Page 🤖 ModelScope	🤗 Huggingface 🤖 ModelScope	🤗 Huggingface 🤖 ModelScope
Experience Link	📙 Official Page	📙 Official Page 🤖 ModelScope	📙 Official Page 🤖 ModelScope	/
Int4 模型	🤗 Huggingface 🤖 ModelScope 💫 Wise Model	🤗 Huggingface 🤖 ModelScope 💫 Wise Model	/	/
文本长度	8K	8K	2K	2K
图片分辨率	1344 * 1344	1344 * 1344	224 * 224 (视频,取前24帧)	224 * 224 (视频,取平均24帧)

Benchmark

图像理解能力

我们的开源模型相较于上一代 CogVLM 开源模型，在多项榜单中取得较好的成绩。其优异的表现能与部分的非开源模型进行同台竞技，如下表所示：

Model	Open Source	LLM Size	TextVQA	DocVQA	ChartQA	OCRbench	MMMU	MMVet	MMBench
CogVLM1.1	✅	7B	69.7	-	68.3	590	37.3	52.0	65.8
LLaVA-1.5	✅	13B	61.3	-	-	337	37.0	35.4	67.7
Mini-Gemini	✅	34B	74.1	-	-	-	48.0	59.3	80.6
LLaVA-NeXT-LLaMA3	✅	8B	-	78.2	69.5	-	41.7	-	72.1
LLaVA-NeXT-110B	✅	110B	-	85.7	79.7	-	49.1	-	80.5
InternVL-1.5	✅	20B	80.6	90.9	83.8	720	46.8	55.4	82.3
QwenVL-Plus	❌	-	78.9	91.4	78.1	726	51.4	55.7	67.0
Claude3-Opus	❌	-	-	89.3	80.8	694	59.4	51.7	63.3
Gemini Pro 1.5	❌	-	73.5	86.5	81.3	-	58.5	-	-
GPT-4V	❌	-	78.0	88.4	78.5	656	56.8	67.7	75.0
CogVLM2-LLaMA3 (Ours)	✅	8B	84.2	92.3	81.0	756	44.3	60.4	80.5
CogVLM2-LLaMA3-Chinese (Ours)	✅	8B	85.0	88.4	74.7	780	42.8	60.5	78.9

所有评测都是在不使用任何外部OCR工具(“only pixel”)的情况下获得的。

视频理解能力

下图显示了 CogVLM2-Video
在 MVBench、VideoChatGPT-Bench
和 Zero-shot VideoQA 数据集 (MSVD-QA、MSRVTT-QA、ActivityNet-QA) 上的性能。

其中 VCG 指的是 VideoChatGPTBench，ZS 指的是零样本 VideoQA 数据集，MV-* 指的是 MVBench 中的主要类别。具体榜单测试数据如下：

Models	VCG-AVG	VCG-CI	VCG-DO	VCG-CU	VCG-TU	VCG-CO	ZS-AVG
IG-VLM GPT4V	3.17	3.40	2.80	3.61	2.89	3.13	65.70
ST-LLM	3.15	3.23	3.05	3.74	2.93	2.81	62.90
ShareGPT4Video	N/A	N/A	N/A	N/A	N/A	N/A	46.50
VideoGPT+	3.28	3.27	3.18	3.74	2.83	3.39	61.20
VideoChat2_HD_mistral	3.10	3.40	2.91	3.72	2.65	2.84	57.70
PLLaVA-34B	3.32	3.60	3.20	3.90	2.67	3.25	68.10
CogVLM2-Video	3.41	3.49	3.46	3.87	2.98	3.23	66.60

CogVLM2-Video 在 MVBench 数据集上的表现

Models	AVG	AA	AC	AL	AP	AS	CO	CI	EN	ER	FA	FP	MA	MC	MD	OE	OI	OS	ST	SC	UA
IG-VLM GPT4V	43.7	72.0	39.0	40.5	63.5	55.5	52.0	11.0	31.0	59.0	46.5	47.5	22.5	12.0	12.0	18.5	59.0	29.5	83.5	45.0	73.5
ST-LLM	54.9	84.0	36.5	31.0	53.5	66.0	46.5	58.5	34.5	41.5	44.0	44.5	78.5	56.5	42.5	80.5	73.5	38.5	86.5	43.0	58.5
ShareGPT4Video	51.2	79.5	35.5	41.5	39.5	49.5	46.5	51.5	28.5	39.0	40.0	25.5	75.0	62.5	50.5	82.5	54.5	32.5	84.5	51.0	54.5
VideoGPT+	58.7	83.0	39.5	34.0	60.0	69.0	50.0	60.0	29.5	44.0	48.5	53.0	90.5	71.0	44.0	85.5	75.5	36.0	89.5	45.0	66.5
VideoChat2_HD_mistral	62.3	79.5	60.0	87.5	50.0	68.5	93.5	71.5	36.5	45.0	49.5	87.0	40.0	76.0	92.0	53.0	62.0	45.5	36.0	44.0	69.5
PLLaVA-34B	58.1	82.0	40.5	49.5	53.0	67.5	66.5	59.0	39.5	63.5	47.0	50.0	70.0	43.0	37.5	68.5	67.5	36.5	91.0	51.5	79.0
CogVLM2-Video	62.3	85.5	41.5	31.5	65.5	79.5	58.5	77.0	28.5	42.5	54.0	57.0	91.5	73.0	48.0	91.0	78.0	36.0	91.5	47.0	68.5

项目结构

本开源仓库将带领开发者快速上手 CogVLM2 开源模型的基础调用方式、微调示例、OpenAI API格式调用示例等。具体项目结构如下，您可以点击进入对应的教程链接：

basic_demo 文件夹包括：

• CLI 演示，推理 CogVLM2 模型。
• CLI 演示，使用多个GPU推理 CogVLM2 模型。
• Web 演示，由 chainlit 提供。
• API 服务器，采用 OpenAI 格式。
• Int4 可以通过 --quant 4 轻松启用，内存使用为16GB。

finetune_demo 文件夹包括：

• peft 框架的高效微调示例。

video_demo 文件夹包括：

• CLI 演示，推理 CogVLM2-Video 模型。
• Int4 可以通过 --quant 4 轻松启用，内存使用为16GB。
• Restful API 服务。
• Gradio 演示。

模型协议

该模型根据 CogVLM2 LICENSE 许可证发布。对于使用了Meta Llama
3基座模型构建的模型，需要同时遵守 LLAMA3_LICENSE 许可证。

引用

如果您发现我们的工作有所帮助，请考虑引用以下论文:

@article{hong2024cogvlm2,title={CogVLM2: Visual Language Models for Image and Video Understanding},author={Hong, Wenyi and Wang, Weihan and Ding, Ming and Yu, Wenmeng and Lv, Qingsong and Wang, Yan and Cheng, Yean and Huang, Shiyu and Ji, Junhui and Xue, Zhao and others},journal={arXiv preprint arXiv:2408.16500},year={2024}
}

@misc{wang2023cogvlm,title={CogVLM: Visual Expert for Pretrained Language Models}, author={Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},year={2023},eprint={2311.03079},archivePrefix={arXiv},primaryClass={cs.CV}
}

参考资料

http://cogvlm2-online.cogviewai.cn:7868/
复现：https://blog.csdn.net/hejiahao_/article/details/139449516
https://blog.csdn.net/qq_43501322/article/details/143725056?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-0-143725056-blog-139449516.235^v43pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.1&utm_relevant_index=3
https://blog.csdn.net/LateLinux/article/details/140521281
https://huggingface.co/collections/THUDM/cogvlm2-6645f36a29948b67dc4eef75