DeepSeek 开源周第 4 天：DualPipe、EPLB 优化并行策略

2月27日，DeepSeek 在其“开源周”进度中发布了优化并行策略的项目。此次更新包括：

DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。

EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。

计算-通信重叠分析：分享 V3/R1 中的训练和推理数据，帮助社区理解计算-通信重叠策略。

这些开源项目有助于进一步提升 DeepSeek 的计算效率和资源利用率。

X｜DualPipe｜EPLB｜通信重叠

📮投稿 ☘️频道 🌸聊天 🗞️𝕏