Baseten 发布 3B 以下决策模型 joey-1,2,000-token 请求 P50 延迟 20 ms

💡 灵机 AI 深度洞见与核心提炼
Baseten Base Labs 发布决策模型 joey-1,直接以单 token 和校准概率返回决策结果,称内部测试中为 3B 及以下参数最强决策模型。2,000-token 请求 P50 端到端延迟 20 ms,约比 elephant-1(49 ms)快 2.5 倍,价格为每百万 token $0.01、是 mammoth-1 的十分之一。
信源媒体:Baseten 工程博客(网页)
访问出处网页 ↗