Cache-to-Cache:大型语言模型之间的直接语义通信

💡 灵机 AI 深度洞见与核心提炼
研究者提出 Cache-to-Cache(C2C),一种让 LLM 绕过文本、直接通过 KV-Cache 进行语义通信的新范式,用神经网络将源模型的 KV-Cache 投影并融合到目标模型,并以可学习门控机制选择受益的目标层。实验显示 C2C 平均准确率比单个模型高 6.4-14.2%,比文本通信范式高约 3.1-5.4%,延迟平均加速 2.5 倍,代码已开源。
信源媒体:Hacker News 热门(buzzing.cc 中文翻译)
访问出处网页 ↗