『大模型笔记』评估大型语言模型的指标：ELO评分，BLEU，困惑度和交叉熵介绍以及举例解释

文章目录

• 一. ELO Rating
• • 大模型的elo得分如何理解
  • • 1. Elo评分的基本原理
    • 2. 示例说明
    • 3. 大模型中的Elo得分
    • 总结
  • 3个模型之间如何比较计算，给出示例进行解释
  • • 1. 基本原理扩展到三方
    • 2. 示例计算
    • 第一场：$A$对战$B$
    • 第二场：$A$对战$C$
    • 第三场：$B$对战$C$
    • 3. 最终 Elo 得分
    • 4. 总结
  • ELO评分的局限性
• 二. BLEU (Bilingual Evaluation Understudy，双语评估替代)
• • • **BLEU计算步骤概述**
    • **详细解释**
    • • **1. n-gram匹配**
      • **2. 计算精确度（Precision）**
      • **3. 平均精确度（Precision Average）**
      • **4. 长度惩罚（Brevity Penalty, BP）**
      • **5. BLEU得分计算**
    • **示例**
    • **总结**
• 三. 困惑度(Perplexity)
• • • **困惑度（Perplexity）的详细解释**
    • **1. 困惑度的定义**
    • • **公式中的符号解释**：
    • **2. 困惑度的直观理解**
    • **3. 计算困惑度的步骤**
    • **4. 困惑度的意义**
    • **5. 总结**
• 四. 交叉熵(Cross Entropy)
• • • **交叉熵（Cross Entropy）详细解释**
    • **1. 交叉熵的定义公式**
    • **2. 交叉熵的作用**
    • **3. 示例计算**
    • **4. 在语言模型中的应用**
    • **5. 优化目标：最小化交叉熵**
    • **6. 交叉熵与困惑度的关系**
    • **总结**
• 三. 参考文献