DeepSpeed

大规模分布式训练优化库,ZeRO 系列并行方案