NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试

NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B，以 52.33 tokens/s 完成 MLPerf Inference v6.1 Edge Agentic 全部 1，007 轮性能负载，耗时 24 分 36 秒，比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。