论文 信源:X:UCSD Hao AI Lab (@haoailab) · 👁️ 29519 次研读

NVFP4量化让视频模型提速且不掉质量

💡 灵机 AI 深度洞见与核心提炼
(3/6) 4-bit 量化,质量不打折。 NVFP4 QAD 以 BF16 Flex 为蒸馏目标,与它的差距比普通量化缩小 14-17%。 长片段受限于注意力计算,因此 FP4 注意力将 768p 15 秒的耗时从 101.8 秒降至 85.3 秒。
信源媒体:X:UCSD Hao AI Lab (@haoailab)
访问出处网页 ↗
阅读原文出处 ↗