NVIDIA 发布 AIPerf 并演示如何在 vLLM 上规模化做 LLM 推理基准测试

NVIDIA 技术博客介绍 AIPerf，它是 GenAI-Perf 的完全重写继任者，采用多进程加 ZMQ 协调的架构避免客户端成为瓶颈，支持 15+ 端点类型、ShareGPT 与 Mooncake 等 trace 回放，以及 constant、Poisson、gamma 到达模式。