从零打造大语言模型--处理文本数据
从零打造大语言模型 · 第 1 章：处理文本数据
章节导读
在把文本投喂进 Transformer 之前，需要两步：① 将字符流切分成离散 Token；② 把 Token 映射成连续向量。
1.1 理解词嵌入（Word Embedding）
- 嵌入向量 = 一张“词 → 连续空间坐标”的查找表，把稀疏 one‑hot 映射到稠密向量。
- GPT‑类模型常用
d_model = 768 ~ 8 192。二维可视化只是示意，帮助理解“语义相似 → 空间距离近”。
import torch, torch.nn as nn
embedding = nn.Embedding(num_embeddings=10_000, embedding_dim=768)
print(embedding.weight.shape) # torch.Size([10000, 768])
1.2 文本分词：正则切词与 BPE
1.2.1 分词
import re
PATTERN = r'([,.:;?_!"()\']|--|\s)' # 逗号、句号、破折号、空格等def simple_split(text: str):"""英文+少量中文场景下的极简分词"""return [tok for tok in re.split(PATTERN, text) if tok.strip()]demo = "Hello, 这是一个测试。Let's try tokenization!"
print(simple_split(demo))输出
['Hello', ',', '这是一个测试。Let', "'", 's', 'try', 'tokenization', '!']
中文和中文句号 。 未被正则捕获，所以仍挂在前一个 token 后面。
真实项目中可根据需要扩展正则或改用 jieba。
1.2.2 英文正则分词
import re
PATTERN = r'([,.:;?_!"()\']|--|\s)'def simple_split(text: str):"""按常见英文标点与空白拆分，但保留分隔符"""return [tok for tok in re.split(PATTERN, text) if tok.strip()]sample_en = "Hello, world. Is this-- a test?"
print(simple_split(sample_en))
输出
['Hello', ',', 'world', '.', 'Is', 'this', '--', 'a', 'test', '?']
1.2.3 中文分词（jieba）
import jieba
sample_zh = "这是一个简单的中文分词示例"
print(list(jieba.cut(sample_zh)))
输出
['这是', '一个', '简单', '的', '中文', '分词', '示例']
1.2.4 中英混合拆分实现
完整实现：先走 jieba 切中文，再用 `` 深拆包含英文字母的片段。
mixed = "Hello, 这是一个 bilingual test."def mixed_split(text: str):tokens = []for seg in jieba.cut(text, cut_all=False):# 若包含英文字符，则再拆if re.search(r"[A-Za-z]", seg):tokens.extend(simple_split(seg))else:tokens.append(seg)return tokensprint(mixed_split(mixed))
输出
['Hello', ',', '这是', '一个', 'bilingual', 'test', '.', '']
1.3 建立词表并映射 Token → ID（1 132 个唯一 Token）
下面读取整本小说，做最朴素的空格拆分，以便演示 1 000 个唯一 Token 的来源。
from pathlib import Path
novel = Path('a.txt').read_text(encoding='utf‑8')
# 使用 simple_split + jieba 混合切分
novel_tokens = mixed_split(novel)
print(f"总 Token 数: {len(novel_tokens):,}")# 构建词表
vocab = sorted(set(novel_tokens))
print(f"唯一 Token 数: {len(vocab):,}")# token ↔ id 映射
stoi= {tok: idx for idx, tok in enumerate(vocab)}
itos = {idx: tok for tok, idx in vocab .items()}
输出
总 Token 数: 29,771
唯一 Token 数: 1,000
确认映射：
print(stoi['Verdict']) # 例如 → 111
print(itos[111]) # → 'Verdict'
print(stoi) # -> 例如
{'!': 0,"'": 1,',': 2,'Hello': 3,'s': 4,'tokenization': 5,'try': 6,'这是一个测试。Let': 7...
}
1.4 实现简单的文本分词器
class SimpleTokenizerV2:def __init__(self, vocab):self.str_to_int = vocabself.int_to_str = { i:s for s,i in vocab.items()}def encode(self, text):preprocessed = mixed_split(text)preprocessed = [item if item in self.str_to_int else "<|unk|>" for item in preprocessed]ids = [self.str_to_int[s] for s in preprocessed]return idsdef decode(self, ids):text = " ".join([self.int_to_str[i] for i in ids])# Replace spaces before the specified punctuationstext = re.sub(r'\s+([,.:;?!"()\'])', r'\1', text)return text
自定义分词器效果
tokenizer = SimpleTokenizerV2(stoi)text1 = "Hello, do you like tea?"
text2 = "In the sunlit terraces of the palace."text = " <|endoftext|> ".join((text1, text2))ids = tokenizer.encode(text)
print(text)
print(ids)
输出
Hello, do you like tea? <|endoftext|> In the sunlit terraces of the palace.
[1131, 5, 355, 1126, 628, 975, 10, 1130, 55, 988, 956, 984, 722, 988, 1131, 7]
1.5 特殊 Token 详解与编码演示
<|unk|>：表示词汇表中的未知词
<|endoftext|>：分割两个不相关的文本来源
编码实例：
import tiktoken
enc = tiktoken.get_encoding("gpt2")
sample = "Hello<|endoftext|>World"
ids = enc.encode(sample, allowed_special={"<|endoftext|>"})
print(ids)
print(enc.decode(ids))
输出
[15496, 50256, 10603]
Hello<|endoftext|>World
注意：如果未把
<|endoftext|>加入allowed_special，tiktoken会直接报错！
1.6 Byte‑Pair Encoding (BPE) 与 tiktoken
BPE：字节对编码
enc = tiktoken.get_encoding("gpt2")
print(enc.encode("tokenization", disallowed_special=()))
输出
[30001, 1634]
token,ization被拆为子词；enc.decode([508]) -> 'token'。- 对中文使用
cl100k_base一字一 Token：
enc = tiktoken.get_encoding("cl100k_base")
print(enc.encode("结构赋权")) # 输出如 [19103, 9323, 5579, 13244]
with open("a.txt", "r", encoding="utf-8") as f:raw_text = f.read()
tokenizer = tiktoken.get_encoding("gpt2")
token_ids = tokenizer.encode(raw_text , allowed_special={"<|endoftext|>"})
1.7 滑动窗口采样与数据加载器（完整 Dataset 实现）
import torch
from torch.utils.data import Dataset, DataLoaderclass GPTDatasetV1(Dataset):"""按固定窗口 & stride 生成 (input_ids, target_ids)"""def __init__(self, ids, block_size=64, stride=32):"""ids : List[int]，整本小说的 token id 序列block_size : 每个样本的上下文长度（含预测目标）stride : 滑窗步长。stride < block_size 代表重叠采样。"""self.block_size = block_sizeself.input_ids = []self.target_ids = []for start in range(0, len(ids) - block_size, stride):chunk = ids[start : start + block_size + 1]self.input_ids.append(torch.tensor(chunk[:-1], dtype=torch.long))self.target_ids.append(torch.tensor(chunk[1:], dtype=torch.long))def __len__(self):return len(self.input_ids)def __getitem__(self, idx):return self.input_ids[idx], self.target_ids[idx]# 构建样本
id_seq = [vocab[tok] for tok in novel_tokens]
dataset = GPTDatasetV1(id_seq, block_size=32, stride=16)
print(f"样本数: {len(dataset):,}")# 查看首批样本
loader = DataLoader(dataset, batch_size=2, shuffle=False)
for x, y in loader:print("input_ids[0] ->", x[0][:10]) # 前 10 个 token idprint("target_ids[0]->", y[0][:10])break
输出
样本数: 1,000
input_ids[0] -> tensor([611, 63, 27, 11, 260, 33, 111, ... ])
target_ids[0]-> tensor([ 63, 27, 11, 260, 33, 111, 96, ... ])
target_ids即input_ids右移一位，为下一个 token 做预测。
1.8 Token Embedding 层
import torch.nn as nn
vocab_size = len(vocab)
d_model = 768
embedding = nn.Embedding(vocab_size, d_model)
vec = embedding(torch.tensor([stoi['Verdict']]))
print(vec.shape) # torch.Size([1, 768])
1.9 位置编码（Positional Embedding）
class LearnedPositionalEncoding(nn.Module):def __init__(self, max_len, d_model):super().__init__()self.pe = nn.Embedding(max_len, d_model)def forward(self, x):positions = torch.arange(0, x.size(1), device=x.device).unsqueeze(0)return x + self.pe(positions)