《Gpipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism》：提出了Gpipe这种流水线并行方法，通过将数据批量进一步等分成若干microbatch，并以流水线的方式执行，减少计算中空泡的比例，极大地拓展了模型的规模，可应用于CNN和Transformer架构等，并且在设备通信等方面做了优化，有效提升了计算效率.
《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》：实现了Transformer架构下的层内张量并行，可和数据并行、流水线并行搭配使用。其通过对Transformer单元中的两层MLP和多头自注意力模块等进行巧妙的并行划分，减少了同步通信开销，在大规模GPU集群上取得了良好的吞吐量扩展，比如在512张GPU的规模下可以取得76%的扩展效率.
