信源:X:karminski (@karminski3) · 👁️ 37948 次研读

猜想:低并发下模型量化精度损失更低更聪明

💡 灵机 AI 深度洞见与核心提炼
有观点提出一个玄学猜想:当模型并发为1、只有单个请求时,极端量化下走GEMV而非GEMM,累计精度损失更低,模型表现更聪明。该猜想由引用推文"闲时的AI会不会更聪明"引发,目前仅为个人推测,未提供任何实验数据或验证结果。
信源媒体:X:karminski (@karminski3)
访问出处网页 ↗
阅读原文出处 ↗