论文 信源:Zyphra Research(网页) · 👁️ 19414 次研读

Zyphra 提出 ZHA 分层注意力:用树状索引实现亚二次复杂度

Zyphra 提出 ZHA 分层注意力:用树状索引实现亚二次复杂度
💡 灵机 AI 深度洞见与核心提炼
Zyphra 提出 Zyphra Hierarchical Attention(ZHA),通过构建并搜索分层树为每个 query 确定相关 token 集合,在合适选取 top-p 阈值时实现亚二次复杂度,优于仍保留二次索引器的稀疏注意力方法。
信源媒体:Zyphra Research(网页)
访问出处网页 ↗
阅读原文出处 ↗