deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住

错误展示：

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

 

错误表现：

出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）

 PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间

# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录，需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions

重新运行训练脚本，程序work