信源:vLLM 官方博客(RSS) · 👁️ 37046 次研读

vLLM 集成 PyNvVideoCodec 支持 NVIDIA GPU 硬件视频解码

vLLM 集成 PyNvVideoCodec 支持 NVIDIA GPU 硬件视频解码
💡 灵机 AI 深度洞见与核心提炼
vLLM 新增对 NVIDIA GPU 硬件视频解码(NVDEC)的支持,通过集成 PyNvVideoCodec 把视频解码负载从 CPU 转移到 GPU。在 8xH100 上,GPU 解码吞吐量比 CPU 解码方案提升一倍以上。该功能已包含在标准 CUDA 版 vLLM 中,自定义安装需依赖 PyNvVideoCodec==2.0.4。
信源媒体:vLLM 官方博客(RSS)
访问出处网页 ↗
阅读原文出处 ↗