模型 信源:X:腾讯混元 (@TencentHunyuan) · 👁️ 48765 次研读

Hy4-preview 在 vLLM 中运行

💡 灵机 AI 深度洞见与核心提炼
腾讯混元 Hy4-preview 从发布首日起即支持在 vLLM 中运行,并已在 NVIDIA GPU 上完成验证。该模型总参数量 770B,激活参数 49B,采用 256 个路由专家加 1 个共享专家,支持 1M 上下文但每次查询仅关注 2048 个 token。
信源媒体:X:腾讯混元 (@TencentHunyuan)
访问出处网页 ↗
阅读原文出处 ↗