Terence Tao：当下大语言模型的数学原理简单，难在预测能力表现

Terence Tao 表示，今天大语言模型的训练与运行主要用线性代数、矩阵乘法和少量微积分，本科生即可掌握，构建与运行这些模型的方法是清楚的。真正的谜团是为何模型在部分任务上表现好、另一些上失败且无法提前预测；原因之一是自然文本介于纯噪声与完全结构化数据之间，对应数学理论薄弱，类似物理学在中观尺度上的困境。内容来自 @Briankeating 的 YouTube 频道视频。