第9章 大模型的有害性（上）
9.1 引言
本章将探讨大型语言模型（LLMs）可能带来的有害性，重点讨论以下几个方面：
- 性能差异
- 社会偏见和刻板印象
在后续内容中，还会涉及其他层面的危害，如有害信息、虚假信息、隐私和安全风险、版权问题、环境影响及权力集中等。这些内容揭示了“能力越大责任越大”的原则，尤其是在AI领域的大模型应用中，我们需要平衡其强大能力与潜在危害。
本章首先回顾一些历史上成熟的危害预防机制，例如贝尔蒙特报告和IRB，以及**基因编辑（CRISPR）**等生物医学领域的经验。这些案例提供了对AI领域安全与伦理问题的宝贵经验，帮助我们构建AI系统的危害预防框架。
9.2 社会群体
在AI中，特别是大型语言模型的应用中，许多决策会依据受保护的社会群体属性（如种族、性别、宗教、年龄等）。这些群体在AI系统中的表现可能受到不同文化背景的影响，且历史上边缘化群体通常面临更大的伤害风险。大型语言模型的性能差异和社会偏见问题往往与历史上的歧视现象一致，尤其是交叉性理论指出，处于多个边缘化群体交集的个体（如黑人女性）通常面临更为严重的歧视。
9.3 量化性能差异/社会偏见在LLMs中的危害
大型语言模型通过大规模数据预训练，往往会无意中继承数据中的偏见，从而在性能和社会偏见上表现出不公平的特征。以下是通过两种测试量化这些危害的例子：
名字偏见
动机：测试模型对涉及人名的理解。
- 原始任务：使用SQuAD数据集进行测试。
- 修改后的任务：交换SQuAD中的人名，并测试模型的回答准确性。
- 结果显示，模型对于熟知的名人名字更准确，但对于不知名的人物表现差。
示例结果：
| 模型 | 参数数量 | 原始准确率 | 修改后准确率 | 名字交换结果（Flips） |
|---|---|---|---|---|
| RoBERTa-base | 123M | 91.2 | 49.6 | 15.7% |
| RoBERTa-large | 354M | 94.4 | 82.2 | 9.8% |
| RoBERTa-large w/RACE | 354M | 94.4 | 87.9 | 7.7% |
刻板印象
动机：评估模型对涉及刻板印象的文本的偏好。
- 任务：比较模型对具有刻板印象和反刻板印象的句子的概率。
- 结果显示，所有模型都有对刻板印象数据的系统偏好，较大的模型往往具有更高的刻板印象得分。
示例结果：
| 模型 | 参数数量 | 刻板印象得分 |
|---|---|---|
| GPT-2 Small | 117M | 56.4 |
| GPT-2 Medium | 345M | 58.2 |
| GPT-2 Large | 774M | 60.0 |
9.4 测量与决策
现有的公平性指标虽然可以量化性能差异，但往往无法同时最小化多个目标，且无法满足所有利益相关者的期望。例如，词汇表、解码参数等设计决策可能显著改变结果，因此，衡量偏见的指标并非总能可靠地预测下游的伤害。此外，现有的基准测试也面临批评，许多测试无法真实反映出LLMs对社会群体的影响。
9.5 其他考虑因素
大型语言模型可能通过多种方式造成伤害，尤其是在涉及社会群体的表现和历史性边缘化问题时，伤害的影响尤其值得关注。理解这些伤害的社会后果，需要考虑群体背景、历史压迫及社会结构等因素。尽管具体的下游应用环境中伤害的影响较为直观，但作为基础模型的LLMs所引发的上游问题同样不可忽视。
9.6 决策问题
目前，许多针对AI偏见和伤害的缓解措施效果有限。有效的缓解措施需要采用更广泛的社会技术方法，这些方法需要涵盖LLMs的应用环境，并根据不同的社会情境作出适应性调整。