当前位置: 首页 > news >正文

文心开源大模型ERNIE-4.5-0.3B-Paddle私有化部署保姆级教程及技术架构探索

一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906

前言

2025年6月30日,百度正式开源文心大模型4.5系列(ERNIE 4.5),涵盖10款不同参数规模的模型,包括了47B(470亿)、3B(30亿)激活参数的异构混合专家架构多模态MoE大模型,及0.3B(3亿)参数的稠密型模型,预训练权重与推理代码均完全开放。除此之外还提供完整的ERNIEKit微调工具链和FastDeploy推理框架,兼容主流生态,适用于各种业务场景。

目前,这些模型已可在GitCode代码托管平台进行下载,博主这里也是第一时间对文心开源模型ERNIE-4.5-0.3B-Paddle进行了私有化部署测评。

文心模型开源系列

二、文心开源大模型私有化部署

从GitCode平台可以看到,百度此次开源的文心大模型有十多款,形成了从0.3B到424B参数的梯度覆盖,不仅包含文本模型还包含了视觉多模态模型(VLM),除最小的0.3B 模型外,其余模型都采用异构多模态MoE(专家混合模型:Mixture of Experts)架构。

在这里插入图片描述

这里咱们选择的是ERNIE-4.5-0.3B-Paddle大模型,只包含了3亿参数量,属于一个轻量化模型,可以进行本地部署,对显卡要求没有300B或者28、21B参数的模型(需要80G显卡)要求高。
在这里插入图片描述

1、准备好系统镜像和显卡

博主这里准备是英伟达的4090显卡(24G显存),用来跑ERNIE-4.5-0.3B-Paddle的轻量化模型是足够的。
在这里插入图片描述

操作镜像,这里准备的是Ubuntu 20.04系统,加上必要的环境CUDA12\Python3.10等,如下图所示:

在这里插入图片描述

2、下载huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载模型功能

pip install -U huggingface_hub
3、如果下载受限制,可以设置以下国内环境变量,
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.comWindows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"建议将上面这一行写入 ~/.bashrc。

4、下载大模型

我们选择的是ERNIE-4.5-0.3B-Paddle大模型

在这里插入图片描述

下载命令:

#cDownload Model
huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle

在这里插入图片描述

5、下载 paddlepaddle-gpu

#注意这里的版本需要根据自己的cuda的版本去定python3 -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
Looking in indexes: https://www.paddlepaddle.org.cn/packages/stable/cu118/

6、下载fastdeploy-gpu

FastDeploy的安装按这个文档,不要直接pip install,有要求,你的显卡选择对应命令,
下载地址:https://paddlepaddle.github.io/FastDeploy/get_started/installation/nvidia_gpu/


#1、如果是 For SM86/89 architecture GPUs(e.g A10/4090/L20/L40):执行这个命令:
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple#2、如果是For SM80/90 architecture GPUs(e.g A30/A100/H100/):执行这个命令
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

在这里插入图片描述

7、运行模型

python -m fastdeploy.entrypoints.openai.api_server \--model baidu/ERNIE-4.5-0.3B-Paddle \--port 8180 \--metrics-port 8181 \--engine-worker-queue-port 8182 \--max-model-len 32768 \--max-num-seqs 32

8、成功运行提示

Launching metrics service at http://0.0.0.0:8181/metrics

在这里插入图片描述

到这一步,咱们的模型就算部署成功了,咱们接下来,写一个测试脚本,看看模型提供的API接口能否调用成功。

9、编写脚本测试调用 test.py

test.py 测试脚本如下所示:

import openai
host = "0.0.0.0"
port = "8180"
client = openai.Client(base_url=f"http://{host}:{port}/v1", api_key="null")response = client.chat.completions.create(model="null",messages=[{"role": "system", "content": "你是一位电商售后客服专家,擅长处理客户售后服务问题,对产品使用体验、物流配送、售后服务、退换货流程和日常保养等都有丰富的实践经验。"},{"role": "user", "content": "请问一般的产品售后有哪些保障,如何退换货?."},],stream=True,
)
for chunk in response:if chunk.choices[0].delta:print(chunk.choices[0].delta.content, end='')
print('\n')

在这里插入图片描述

10、大模型回答

运行命令:python test.py

在这里插入图片描述

大模型调用成功请求日志
在这里插入图片描述

到这里我们的大模型就私有化部署成功了。

对于算力有限的中小开发者,0.3B参数的稠密型模型可降低部署门槛,MoE模型则能满足企业级复杂任务的需求。这种分层供给思路,让不同资源条件的使用者都能找到适配的工具。

三、文心开源大模型官方Benchmark(基准测试)对比

因为算力有限,博主这里找到百度官方来做的基准测试图,我们可以看到文心4.5系列21B和30B的多模态大模型在Benchmark测评上与其他开源模型相比,优秀的效果体现。

大模型的Benchmark(基准测试)是用于评估和比较大型机器学习模型(如GPT、DeepSeek、PaLM等)性能的一系列标准化任务、数据集和评价指标,常用来作为评价模型质量的标准之一。

在这里插入图片描述

四、文心开源大模型(ERNIE 4.5)核心技术架构探索

与常规的单模态MoE不同,此次百度开源的ERNIE 4.5模型是一种异构混合型,也就是通过“分而治之”策略提升模型性能的人工智能架构:将多个不同类型的专家模块集成在一起,每个输入仅激活部分相关的专家模块,从而在不显著增加计算量的前提下大幅提升模型容量。

我们选择一个ERNIE-4.5-21B-A3B-Base-Paddle,21b参数的开源模型的工程目录点击进去查看,如下图所示
在这里插入图片描述

文心开源大模型(ERNIE 4.5)核心技术包含以下几点:

1、异构多模态MoE架构:

异构多模态:
多模态:模型能“看懂”图片、“听懂”语音、“读懂”文字,还能把三者结合起来理解(比如看到一张“猫在沙发上”的图片,能生成对应的文字描述)。
异构:不同任务由不同的“专家模块”处理,比如文本任务由“语言专家”负责,图片任务由“视觉专家”负责,避免“一刀切”导致的效率低下。

MoE(专家混合模型):
原理:模型内部有多个“专家”(类似不同领域的专家),输入数据时,系统会自动分配给最擅长的专家处理。
优势:避免单一模型“什么都做但都不精”的问题,同时通过动态激活专家,减少计算量,提升效率。

2、多模态混合专家模型预训练

通过模态隔离路由和异构专家并行策略,实现文本与视觉模态的联合训练,避免模态间干扰

3、ERNIE 4.5的架构设计理念分析

  1. 专家分工:三类专家各司其职
    文本专家:专注处理语言任务(如翻译、写文章、代码生成)。
    视觉专家:优化图片/视频处理(如识别物体、分析场景)。
    共享专家:捕捉跨模态的通用特征(比如文字和图片的关联性)。

  2. 动态路由:智能分配任务
    门控网络:相当于“任务调度员”,根据输入内容(文本/图片/视频)自动选择最合适的专家组合。
    稀疏激活:每个任务只激活少量专家(比如处理文本时,主要用文本专家,少量用共享专家),减少计算量。

  3. 效率优化:又快又省
    自适应分辨率:视觉专家支持任意尺寸图片输入,避免裁剪导致的细节丢失。
    混合精度训练:用更低的计算资源训练更大模型,成本降低但性能不降。
    专家并行:分布式训练中,专家模块分布在不同设备,提升训练速度。

4、 对比传统模型:ERNIE 4.5的优势

  • ERNIEKit开发套件:覆盖微调(SFT)、对齐(DPO)到量化的全流程开发。

  • FastDeploy部署工具:解决多硬件平台高效推理问题,降低部署门槛。

维度传统模型ERNIE 4.5
处理模态单一模态(如只能处理文本)多模态(文本+图片+视频)
计算效率高(可能浪费资源)低(动态激活专家)
专业性泛泛而谈各领域专家精准处理
部署难度高(需复杂调优)低(配套工具链支持)

五、项目总结

百度开源文心4.5系列,不仅以多模态架构创新、高效训练体系构建及先进量化技术突破,彰显其在人工智能领域的技术领导力,更通过开源战略的深度实践,为全球大模型技术生态注入普惠动能。此次开源犹如为智能革命装上涡轮引擎,当技术民主化的浪潮冲破产业壁垒,真正受益的将是扎根开源沃土的万千创新者——他们以效率为刃,正在智能时代的画布上勾勒出前所未有的创新图景。这场由技术普惠驱动的变革,不仅重构了AI开发范式,更在产业升级的深水区开辟出一条由开放创新引领的智能进化之路。

文心是百度自主研发的产业级知识增强大模型,以创新性的知识增强技术为核心,从单模态大模型到跨模态、从通用基础大模型到跨领域、跨行业持续创新突破,构建了模型层、工具与平台层,百度开源文心大模型这一动作,大幅降低人工智能开发和应用门槛,加快人工智能大规模产业化进程并拓展人工智能技术边界。

一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906

http://www.lryc.cn/news/581654.html

相关文章:

  • 【学习笔记】4.1 什么是 LLM
  • 编程语言艺术:C语言中的属性attribute笔记总结
  • 程序员在线接单
  • 浅谈漏洞扫描与工具
  • 大型语言模型中的自动化思维链提示
  • 【数据分析】R语言多源数据的基线特征汇总
  • 玄机——第三章 权限维持-linux权限维持-隐藏练习
  • Dify+Ollama+QwQ:3步本地部署,开启AI搜索新篇章
  • 实现Spring MVC登录验证与拦截器保护:从原理到实战
  • 【机器学习深度学习】 如何解决“宏平均偏低 / 小类识别差”的问题?
  • HRDNet: High-resolution Detection Network for Small Objects论文阅读
  • mac中创建 .command 文件,执行node服务
  • Omi录屏专家 Screen Recorder by Omi 屏幕录制Mac
  • 【Linux】基础开发工具(1)
  • 开发项目时遇到的横向越权、行锁表锁与事务的关联与区别、超卖问题
  • Java学习——Lombok
  • Anaconda 常用命令
  • 【Elasticsearch】自定义评分检索
  • 【卫星语音】基于神经网络的低码率语音编解码(ULBC)方案架构分析:以SoundStream为例
  • Maven引入第三方JAR包实战指南
  • Day06- (使用asyncio进行异步编程:事件循环和协程)
  • 群晖 DS3617xs DSM 6.1.7 解决 PhotoStation 安装失败问题 PHP7.0
  • 数据结构---B+树
  • Modbus 与 BACnet 协议互操作:工业协议转换方案(二)
  • 深入理解 classnames:React 动态类名管理的最佳实践
  • 【系统分析师】2023年真题:论文及解题思路
  • 【机器学习笔记Ⅰ】7 向量化
  • 【IOS】XCode创建firstapp并运行(成为IOS开发者)
  • Tuning Language Models by Proxy
  • CentOS-6与CentOS-7的网络配置IP设置方式对比 笔记250706