LLaMA：挑战大模型Scaling Law的性能突破

实际问题

在大模型的研发中，通常会有下面一些需求：

1. 计划训练一个10B的模型，想知道至少需要多大的数据？
2. 收集到了1T的数据，想知道能训练一个多大的模型？
3. 老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？
4. 老板对现在10B的模型不满意，想知道扩大到100B模型的效果能提升到多少？

核心结论

大模型的Scaling Law是OpenAI在2020年提出的概念[1]，具体如下:

1. 对于Decoder-only的模型，计算量𝐶(Flops), 模型参数量𝑁, 数据大小𝐷(token数)，三者满足: 𝐶≈6𝑁𝐷 。(推导见本文最后)
2. 模型的最终性能主要与计算量𝐶，模型参数量𝑁和数据大小𝐷三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。

固定模型的总参数量，调整层数/深度/宽度，不同模型的性能差距很小，大部分在2%以内

3. 对于计算量𝐶，模型参数量𝑁和数据大小𝐷