DeepSpeed

大规模分布式训练优化库，ZeRO 系列并行方案

ZeRO 并行策略事实标准，训练百亿/千亿模型的基础设施