[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路

[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客

Pai-Megatron-Patch (mcore代码)

长文本限制：

开SP之后，72B能开到16K，7B能开到32K。

但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。

code：

相对于原repo加了一些代码适配性的问题。 

Release tokenize code update · Carrie-Yi/pai-megatron-patch-xin · GitHub

解决方案：

1、cpu-offload

这个repo中给Qwen2-CT改了yarn和cpu-offload，但是还没测试