RAG投毒可致注意力崩溃,检测需关注文档级注意力
💡 灵机 AI 深度洞见与核心提炼
研究发现,恶意检索文档可提升模型token置信度与输出一致性,导致基于不确定性的检测器失效。作者将攻击下注意力集中于投毒文档而非分散于检索证据的现象称为"注意力崩溃"(Attention Collapse)。因此,仅检查最终答案或置信度可能漏报,监控检索文档间的注意力分布或可提前暴露投毒。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗