当前位置： 首页 > news >正文

12.实战私有数据微调ChatGLM3

news 2025/8/17 4:44:51

实战私有数据微调ChatGLM3

  • 实战私有数据微调ChatGLM3
    • 实战构造私有的微调数据集
      • 基于 ChatGPT 设计生成训练数据的 Prompt
      • 使用 LangChain + GPT-3.5-Turbo 生成训练数据样例
      • 训练数据解析、数据增强和持久化存储
      • 自动化批量生成训练数据集流水线
      • 提示工程（Prompt Engineering）：强化返回格式，不断测试结果
    • 实战私有数据微调 ChatGLM3
      • 使用 QLoRA 小样本微调 ChatGLM3
      • ChatGLM3 微调前后效果对比

实战私有数据微调ChatGLM3

实战构造私有的微调数据集

典型的训练数据集构造流程
在这里插入图片描述
痛点：流程重复繁杂，效率低

基于 GPT 的训练数据集构造流程
在这里插入图片描述
基于 ChatGPT 设计生成训练数据的 Prompt（以中国哲学领域为例）
在这里插入图片描述

基于 ChatGPT 设计生成训练数据的 Prompt

在这里插入图片描述

使用 LangChain + GPT-3.5-Turbo 生成训练数据样例

在这里插入图片描述

训练数据解析、数据增强和持久化存储

在这里插入图片描述
数据增强：构造多样化的提问方式
在这里插入图片描述
在这里插入图片描述

自动化批量生成训练数据集流水线

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提示工程（Prompt Engineering）：强化返回格式，不断测试结果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

实战私有数据微调 ChatGLM3

使用 QLoRA 小样本微调 ChatGLM3

在这里插入图片描述

ChatGLM3 微调前后效果对比

在这里插入图片描述

在这里插入图片描述
fixed

在这里插入图片描述

http://www.lryc.cn/news/371812.html

相关文章：

  • PHP地方门户分类信息网站源码讯客分类信息系统源码（含手机版）
  • 设计模式 —— 观察者模式
  • 光纤跳线（又称光纤连接器）的种类
  • 探索Ubuntu：从入门到精通
  • SpringMVC-基础架构
  • 《Windows API每日一练》4.1 GDI绘图
  • SQL Server 安装后，服务器再改名，造成名称不一致，查询并修改数据库服务器真实名称
  • 单例模式、工厂模式 c++关键字 static
  • 基于文本和图片输入的3D数字人化身生成技术解析
  • C语言 | Leetcode C语言题解之第150题逆波兰表达式求值
  • API安全性的重要性及实施策略
  • 现在Java行情不好可以转.net吗？
  • 大文件word生成的处理与解决策略
  • unity3d：GameFramework+xLua+Protobuf+lua-protobuf，与服务器交互收发协议
  • 二刷算法训练营Day30 | 回溯算法(6/6)
  • 【车载AI音视频电脑】200万像素迷你一体机
  • 齐普夫定律在循环神经网络中的语言模型的应用
  • 如何在Android Studio上发布Flutter应用
  • C++ 字符串处理4-根据指定的分隔符将字符串分割为多个子串根据指定的分隔符将多个子串连接成一个字符串
  • 微信小程序请求request封装
  • Web前端不挂科：深入探索与实战指南
  • Golang | Leetcode Golang题解之第149题直线上最多的点数
  • 京准电钟 NTP时间同步服务器助力水库水坝水利自动化建设
  • 程序员应该具备什么职业素养？
  • linux 安装sftp及使用sftp上传和下载
  • AI虚拟试穿技术：开启高保真、多场景、多样化服装组合的试穿应用
  • 数栈xAI：轻量化、专业化、模块化，四大功能革新 SQL 开发体验
  • oppo手机精简包名列表
  • Cisco Packet Tracer实验（二）
  • Julia 数学函数