Transformer 面试题及详细答案120道（61-70）-- 解码与生成
《前后端面试题》专栏集合了前后端各个知识模块的面试题，包括html，javascript，css，vue，react，java，Openlayers，leaflet，cesium，mapboxGL，threejs，nodejs，mangoDB，SQL，Linux… 。
文章目录
- 一、本文面试题目录
-
-
- 61. 什么是“贪婪解码（Greedy Decoding）”？它的优缺点是什么？
-
- 原理说明
- 示例代码（基于PyTorch）
- 62. 束搜索（Beam Search）的原理是什么？如何选择束宽（Beam Size）？
-
- 原理说明
- 示例代码（基于PyTorch）
- 63. 采样（Sampling）在生成任务中的作用是什么？温度参数（Temperature）如何影响采样结果？
-
- 原理说明
- 示例代码（基于PyTorch）
- 64. 什么是“top-k采样”和“nucleus sampling（top-p采样）”？它们如何解决采样的随机性问题？
-
- 原理说明
- 示例代码（top-p采样，基于PyTorch）
- 65. 解码过程中，如何避免生成重复的内容？
-
- 原理说明
- 示例代码（n-gram惩罚，基于PyTorch）
- 66. Transformer在生成长序列时可能遇到哪些问题？如何缓解？
-
- 原理说明
- 示例代码（分段处理长序列）
- 67. 对比解码（Contrastive Decoding）的思想是什么？它能提升生成质量吗？
-
- 原理说明
- 示例代码（对比解码简化版）
- 68. 什么是“长度惩罚（Length Penalty）”？在束搜索中如何使用？
-
- 原理说明
- 示例代码（带长度惩罚的束搜索）
- 69. 生成任务中，如何评估Transformer的输出质量（如BLEU、ROUGE指标）？
-
- 原理说明
- 示例代码（使用NLTK计算BLEU）
- 70. 简述Transformer在实时生成任务（如对话系统）中的延迟问题及优化方法。
-
- 原理说明
- 优化方法
- 示例代码（量化推理示例，基于PyTorch）
-
- 二、120道Transformer面试题目录列表
一、本文面试题目录
61. 什么是“贪婪解码（Greedy Decoding）”？它的优缺点是什么？
原理说明
贪婪解码是Transformer生成序列时最直接的解码策略，其核心逻辑是：在每一步生成时，从模型预测的所有可能token中选择概率最高的那个作为当前输出，然后将该token加入已生成序列，再基于新序列预测下一个token，重复此过程直到生成结束符（如<END>）或达到最大长度。
- 优点