当前位置：首页 > news >正文

百度文心大模型 4.5 系列全面开源英特尔同步支持端侧部署

news 2025/7/4 14:26:54

2025 年 6 月 30 日，百度如期兑现 2 月 14 日的预告，正式开源文心大模型 4.5（ERNIE 4.5）系列，涵盖 10 款不同参数规模的模型，包括 470 亿参数混合专家（MoE）模型、30 亿参数 MoE 模型及 3 亿参数稠密型模型，实现预训练权重与推理代码的完全开放。这一举措标志着国内大模型技术向生态化、普惠化迈出关键一步。

开源矩阵与授权机制：兼顾商业应用与技术共享

文心大模型 4.5 系列基于 Apache License 2.0 许可发布，允许开发者进行商业使用，仅需遵守开源协议条款。此次同步开源的还有开发工具包 ERNIEKit，集成了从预训练到部署的全流程工具：

支持监督微调（SFT）、低秩适应（LoRA）、直接偏好优化（DPO）等主流训练技术；
提供量化训练（QAT）、训练后量化（PTQ）等压缩方案，适配不同硬件环境。

开发者可通过飞桨星河社区、HuggingFace 平台下载模型，百度智能云千帆大模型平台同步提供 API 服务，降低企业接入门槛。值得关注的是，英特尔已第一时间完成对文心 4.5 端侧模型的适配，实现其在酷睿 Ultra 平台上的本地化部署，拓展了模型的应用场景。

三大技术创新：多模态融合与高效训推突破

文心大模型 4.5 的性能提升源于三项核心技术创新：

多模态混合专家预训练：通过文本与视觉模态联合训练，构建异构混合专家结构。结合多维旋转位置编码与专家正交性优化，使两种模态相互促进，显著提升文本生成、图像理解及跨模态推理能力。
高效训推框架：采用异构混合并行策略与多层级负载均衡技术，配合 FP8 混合精度训练，大幅提升预训练吞吐量；推理阶段通过多专家协同量化算法，实现 4-bit/2-bit 近无损量化，结合动态预填充与解码分离部署，优化资源利用率。
模态针对性后训练：针对不同任务场景进行精细化调优 —— 语言模型聚焦通用理解与生成，多模态模型强化视觉 - 语言关联，并支持 “思考模式”（强化推理）与 “非思考模式”（强化感知）切换，兼顾效率与能力。

评测表现：参数更优却实现性能反超

在权威基准测试中，文心 4.5 系列展现出 “小参数、高性能” 的特点：

470 亿参数模型（ERNIE-4.5-300B-A47B）：在 28 项基准测试中的 22 项超越 DeepSeek-V3-671B，尤其在泛化能力、逻辑推理和知识密集型任务中优势显著；在 IFEval、SimpleQA 等指令遵循与知识类测试中排名业界第一。
210 亿参数模型（ERNIE-4.5-21B-A3B）：参数规模仅为 Qwen3-30B 的 70%，却在 BBH（多任务基准）、CMATH（数学推理）等测试中表现更优，实现效率与性能的平衡。
多模态模型（ERNIE-4.5-VL）：在 “思考模式” 下，MathVista、MMMU 等高难度视觉推理基准成绩突出；“非思考模式” 则保持 CV-Bench 等感知任务的高准确率。轻量级 280 亿参数版本相较于 Qwen2.5-VL 系列，在多数测试中性能相当甚至更优，且支持双模式切换。

🌟 DMXAPI 全维度解决方案，重构 AI 开发体验 🌟