当前位置： 首页 > news >正文

ChatGPT实战与私有化大模型落地

news 2025/8/6 18:34:48

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

http://www.lryc.cn/news/160691.html

相关文章：

  • 10分钟从实现和使用场景聊聊并发包下的阻塞队列
  • Python入门学习13（面向对象）
  • 哈工大计算机网络课程网络安全基本原理之：身份认证
  • 海外代购系统/代购网站怎么搭建
  • go-micro
  • 安装GPU驱动,CUDA Toolkit和配置与CUDA对应的Pytorch
  • JavaScript单例模式
  • centos下安装jenkins.war
  • App线上网络问题优化策略
  • PDF 工具箱
  • 大数据组件系列-Hadoop每日小问
  • 【前端】在Vue页面中引入其它vue页面 数据传输 相互调用方法等
  • 网络通信深入解析：探索TCP/IP模型
  • 可靠的可视化监控平台应用在那些场景？
  • 从 BBR 失速到带宽探测
  • MobaXterm使用sz/rz命令下载上传文件
  • vue el-popover hover延时触发，el-popover 鼠标放上三秒以后触发
  • 计算机竞赛 基于深度学习的人脸识别系统
  • Android扫码连接WIFI实现
  • TrOCR – 基于 Transformer 的 OCR 入门指南
  • MAC终端美化
  • Matlab常用字符串操作教程
  • 基于SSM的汽车养护管理系统
  • Redis发布订阅机制学习
  • 施展世界：GPT时代需要的教育，是学会如何提出好问题
  • Excel学习 WPS版
  • MySQL的Json类型个人用法详解
  • VUE 程序的执行过程（非常非常重要）
  • 指定cv::cuda::GpuMat创建所在的GPU卡
  • Camunda 7.x 系列【43】事务子流程