DeepSeekMath：突破开放式语言模型中数学推理能力的极限

摘要

由于数学推理具有复杂且结构化的特性，这对语言模型构成了重大挑战。在本文中，我们介绍了 DeepSeekMath 7B 模型，该模型在 DeepSeek-Coder-Base-v1.5 7B 模型的基础上，使用从 Common Crawl 获取的 1200 亿个与数学相关的标记，以及自然语言和代码数据继续进行预训练。在不依赖外部工具包和投票技术的情况下，DeepSeekMath 7B 在竞赛级 MATH 基准测试中取得了 51.7% 的优异成绩，接近 Gemini-Ultra 和 GPT-4 的性能水平。通过对 DeepSeekMath 7B 生成的 64 个样本进行自洽性验证，其在 MATH 基准测试上的准确率达到了 60.9%。DeepSeekMath 的数学推理能力归因于两个关键因素：首先，我们通过精心设计的数据选择流程，充分利用了公开可用的网络数据的巨大潜力。其次，我们引入了组相对策略优化（Group Relative Policy Optimization，GRPO）算法，这是近端策略优化（Proximal Policy Optimization，PPO）算法的一个变体，它在增强数学推理能力的同时，还能优化 PPO 的内存使用。