信源:X:阿易 AI Notes (@AYi_AInotes) · 👁️ 17930 次研读

DeepSeek V4.1 Flash 架构创新非蒸馏可得

💡 灵机 AI 深度洞见与核心提炼
学者 @hsu_steve 评价 Peter Gostev 用 3D 还原的 DeepSeek V4.1 Flash 架构图,称其底层设计"任何蒸馏技术都偷不来"。该架构采用 20 层因果编码器 + 20 层解码器的 CED 架构,读长文本仅激活约 8B 参数、生成时激活 16B;KV 显存压至约 890 字节/token,为上一代四分之一。
信源媒体:X:阿易 AI Notes (@AYi_AInotes)
访问出处网页 ↗
阅读原文出处 ↗