位置嵌入的数学约束与泛化探索
💡 灵机 AI 深度洞见与核心提炼
注意力机制本身没有时间概念。位置嵌入是语言模型判断 token 之间距离的方式。
Jane Street 和 3Blue1Brown 最近的一个 YouTube 视频，探讨了满足常见数学约束的嵌入空间。这个空间不仅在代数上有良好定义，而且在 ML 文献中已被充分挖掘。
如果我们放宽这些约束呢？是否存在一个更一般的可能函数空间？让我们来折腾一下（1/7）🧵
信源媒体：X：SemiAnalysis (@SemiAnalysis_)
访问出处网页 ↗