Google 宣布 Pathways 在 Google Cloud 正式可用,讲解单控制器大模型训练
💡 灵机 AI 深度洞见与核心提炼
Google 宣布用于训练 Gemini 等自家大模型的分布式系统 Pathways 在 Google Cloud 正式可用(GA)。Pathways 用单个客户端把整个计算描述为图,由分布式运行时完成放置、张量传输和调度,支持 RL 循环等多程序重叠执行、主机故障后重映射实现弹性训练,以及通过 Shared Pathways Service 让团队共享 TPU 集群。
信源媒体:Google Developers Blog(RSS)
访问出处网页 ↗