什么？穷哥们没钱RLHF？跟我一起DPO吧，丐版一样用
本次DPO训练采用TRL的方式来进行训练
Huggingface TRL是一个基于peft的库，它可以让RL步骤变得更灵活、简单，你可以使用这个算法finetune一个模型去生成积极的评论、减少毒性等等。
本次进行DPO的模型是一个500M的GPT-2，目的是训练快，少占资源，快速看到结果。
下载Tokenizer：
from transformers import AutoTokenizer
AutoTokenizer.from_pretrained('gpt2').save_pretrained('tokenizer/gpt2')
下载Datasets：
from datasets import load_dataset
load_dataset('b-mc2/sql-create-context').save_to_disk(
'dataset/b-mc2/sql-create-context')
下载Model：
from transformers import AutoModelForCausalLM
AutoModelForCausalLM.from_pretrained('gpt2').save_pretrained('model/gpt2')
图 下载Tokenizer，model，数据
首先我们看一下原始数据集，原始数据集的构成分为3部分，一个是question，代表想提出的问题，一个是answer代表回答，第三部分是context代表参考的表结构。
图 原始数据集
图 数据集样例
实际数据样例，我们进一步规范了三种数据类型：
·第一个prompt，包含了context表结构和问题。
·第二个chose，表示希望训练之后的模型按着什么范式来回答问题。
·第三个reject，表示不希望用什么方式来回答，这里就留空了，代表隐式确认，如果有条件也可以整理不喜欢的回答范式。
这个训练的目的就是不管回答什么问题，都要用SQL语句的形式来回答，强调一种受欢迎回答的范式，这也是RLHF/DPO训练的主要目的。
下面开始训练部分，首先load tokenizer。
图8-9 load tokenizer
按照需求来整理数据格式。
图 整理数据格式
读取模型。
from transformers import AutoTokenizer
import random
import torch
tokenizer = AutoTokenizer.from_pretrained('/data2/DPO/tokenizer/gpt2')
tokenizer.pad_token_id = 0
tokenizer
from transformers import AutoModelForCausalLM
model_dpo = AutoModelForCausalLM.from_pretrained('/data2/DPO/model/gpt2').to('cuda')
model_dpo_ref = AutoModelForCausalLM.from_pretrained('/data2/DPO/model/gpt2').to('cuda')
先做个测试看看模型目前是怎么回答的。
图 训练前的回答方式
如上图所示，很显然这个回答方式不是我们要求的方式，我们需要它把问题都按着SQL语句来进行回答。
最后一步就是正式训练了。
如上图所示，随着训练的开展，模型回复对话的方式，基本就越来越向着正规SQL的方向演进。
这就是DPO训练所达成的目的。
也没有多废资源，我是点auto-map技能点了，正常也就一张A100够了。