产品 信源:MarkTechPost(RSS) · 👁️ 25194 次研读

Liquid AI 发布 RIPL 实时推理引擎,LFM 端到端延迟低于 50 ms

💡 灵机 AI 深度洞见与核心提炼
Liquid AI 发布实时推理管线 RIPL,可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型,端到端生成响应低于 50 ms。按其自测数据,RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍,其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
信源媒体:MarkTechPost(RSS)
访问出处网页 ↗
阅读原文出处 ↗