Luma AI 打包多模态掩码精确序列并行
💡 灵机 AI 深度洞见与核心提炼
面向打包多模态掩码的精确序列并行。
它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值与单 GPU 一致，并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。
https://lumalabs.ai/news/packed-multimodal-attention
信源媒体：X：Luma AI (@LumaLabsAI)
访问出处网页 ↗