产品 信源:X:面壁智能 OpenBMB (@OpenBMB) · 👁️ 46995 次研读

面壁智能解析 LES 推理技术:让 MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s

💡 灵机 AI 深度洞见与核心提炼
面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。
信源媒体:X:面壁智能 OpenBMB (@OpenBMB)
访问出处网页 ↗
阅读原文出处 ↗