Megatron-LM GPT 源码分析（一） Tensor Parallel分析
引言
本文基于开源代码 GitHub - NVIDIA/Megatron-LM: Ongoing research training transformer models at scale ，通过GPT的模型运行示例，从三个维度 - 模型结构、代码运行、代码逻辑说明 对其源码做深入的分析。
Tensor Parallel源码分析
本文基于开源代码 GitHub - NVIDIA/Megatron-LM: Ongoing research training transformer models at scale ，通过GPT的模型运行示例，从三个维度 - 模型结构、代码运行、代码逻辑说明 对其源码做深入的分析。