Olmo-core 3 发布：面向大型 MoE 的开放、可扩展训练基础设施

Olmo-core 3 发布，重新设计开放的 MoE 训练系统，旨在兼顾大规模扩展与计算效率。基准测试中，专家数从 8 增至 128、总参数量从 4.6B 增至 47B，每个 token 的活跃参数量基本不变，训练吞吐量降幅小于 5%。新系统改用 DDP，让专家常驻 GPU，避免反复收集权重。