ChatGLM3私有数据微调实战:24小时打造高精度模型,显存直降60%
1. 实战构造私有的微调数据集
在微调大模型时,数据质量直接决定模型效果。本节将手把手教你如何构建高质量的私有微调数据集。
1.1 使用 ChatGPT 自动设计生成训练数据的 Prompt
核心思路:通过 ChatGPT 生成符合任务需求的样本数据,降低人工标注成本。
步骤示例(以生成客服对话数据为例):
from langchain.prompts import ChatPromptTemplate prompt_template = ChatPromptTemplate.from_messages(