Google DeepMind·· 2026-04-22AI 评分51
Google DeepMind 介绍 Decoupled DiLoCo：面向高容错分布式 AI 训练的新架构
Decoupled DiLoCo: A new frontier for resilient, distributed AI training
AI 导读
Google DeepMind 在新论文中提出 Decoupled DiLoCo，通过计算集群间的异步数据流隔离局部故障，实现低带宽跨数据中心训练。团队使用 2-5 Gbps 广域网络，在美国 4 个区域完成了一个 12 billion 参数模型的训练，速度比传统同步方法快 20 倍以上。
来源：Google DeepMind · deepmind.google