灵
灵机 FeedHub
🌙
← 返回 AI 资讯大厅
📰 今日早报 ↗
← 返回 AI 资讯大厅
10月21日 17:59
论文
信源:
公众号:小红书技术(dots.llm)
· 👁️ 26193 次研读
小红书 DoSA 将长上下文首 token 延迟无损减少近一半
💡 灵机 AI 深度洞见与核心提炼
小红书自研的稀疏注意力索引器加速方法 DoSA,在保持原始 Top-K 选择结果的前提下,用分数上下界提前排除不可能入选的候选。
信源媒体:
公众号:小红书技术(dots.llm)
访问出处网页 ↗
阅读原文出处 ↗
📋 复制分享链接
← 返回大厅