返回首页

Baseten Voice Agent Stack / Baseten Realtime Voice

sitemap+x+web 0.92
访问原文

介绍

Baseten Voice Agent Stack 和 Baseten Realtime Voice 是 Baseten 在 2026 年 11 月 16 日正式推出的语音智能体基础设施及其参考实现。@baseten 于 2026-11-16T19:15:21Z(北京时间 2026 年 11 月 17 日 03:15:21)发出介绍帖,开头为 “Introducing the Baseten Voice Agent Stack: optimized infrastructure to run and customize voice agents.”,并写到编排器与每个模型都托管在一起以降低端到端延迟,各组件可独立扩缩,且可以替换或后训练流水线中的任意模型;帖中后半也提到他们构建了 Baseten Realtime。

官方博客 baseten.co/blog/introducing-the-baseten-voice-agent-stack 日期为 November 16, 2026,标题为 “Introducing the Baseten Voice Agent Stack: own and optimize voice agents end-to-end”,作者为 Ian Carrasco 与 Tianshu Cheng。博客写到:“Today we’re launching the Baseten Voice Agent Stack and Baseten Realtime Voice”。Voice Agent Stack 是跑在 Baseten Dedicated Inference 上的生产级语音智能体基础设施:把编排器与语音模型放在同一云区域、同一集群网络中,提供推理运行时优化、模型间组网、流量自动扩缩、跨云故障转移和模型后训练支持,并允许在级联的每一级挑选或替换模型,也可以混用第三方 API。博客还讨论了按垂直场景后训练 STT、为真实通话后训练 LLM,以及用自有语音数据对 TTS 做监督微调。

Baseten Realtime Voice 是建立在该堆栈上的参考语音智能体 / API。官方称它使用级联的开放权重语音模型(脚注给出的测量配置为:STT 为 Qwen3-ASR、LLM 为 Gemma-4-31B、TTS 为 Qwen3-TTS,外加 Baseten Model APIs 上的 GLM-5.3 Fast 作为委托模型)和基于 Pipecat 的自定义编排器,可选地把快速的同机 talker 用于对话,把更强的 thinker 用于推理和工具调用。官方给出的数字包括:在 Artificial Analysis 的 Full-Duplex-Bench 加权得分 93.01%,为所列开源全双工系统中最高;在 Sierra 的 τ²-Bench Voice harness 上自报 73.5% pass^1(英语分割,含电信场景 93.9%),官方写明该成绩未经 Artificial Analysis 实测、不可直接与其榜单比较,对照级联基线为 31.2%;在 32 路并发、充分使用下列出价格为每音频分钟 0.012 美元,56 路时估算为每通话分钟 0.008 美元(含模型 API 委托的假设)。延迟方面,官方称在最多 16K token 上下文、1 到 56 路并发时,中位回合延迟保持在约 1 秒,中位首音频时间从 0.94 秒升至 1.14 秒。API 按官方说法兼容 OpenAI Realtime 协议的核心事件,支持音频入/音频出和文本入/音频出,以及关键词增强、可配置附和和声音克隆;但客户端必须接受完整 WebSocket URL,官方也写到 OpenAI Python SDK 会在 base URL 后追加 /realtime,因而不能直接连接,浏览器则需要自己的后端代持密钥。两款能力目前均为私人预览,需加入等候名单。

要点:

广告

解释

为什么值得关注

这是 Baseten 在 2026 年 11 月 16 日用官方账号和博客同时确认的新产品名,而不是对已有推理平台或已入库词条 Baseten Grid 的一次改名。介绍帖发出时间为 19:15:21Z(北京时间 11 月 17 日 03:15:21),落在本轮 00:32–04:32 扫描窗口内,站点地图也在同一窗口内新增了这篇博客,因此单独建条。

本页只复述官方介绍帖和官方博客。Full-Duplex-Bench 的 93%、τ²-Bench Voice 的 73.5%,以及约每分钟 0.01 美元的成本,都是公司在其参考配置上的表述;其中 τ² 成绩官方写明为自报、未经 Artificial Analysis 实测,本页不作独立复现。

局限

两款能力目前均为私人预览,不要写成已经对所有客户普遍开放。不要把本词条写成对延迟、成本或基准分数的保证,也不要写成已经取代 Baseten 的通用推理平台或已入库的 Baseten Grid。OpenAI Python SDK 不能直接连接、浏览器需要自建后端代持密钥,这些限制以官方文档为准。

用法

  1. 阅读官方介绍帖 https://x.com/baseten/status/2122408198531363053 ,并对照官方博客 https://www.baseten.co/blog/introducing-the-baseten-voice-agent-stack ;
  2. 按官方说明,两款能力目前为私人预览,需通过官方等候名单申请;协议细节见 Baseten Realtime Voice 文档;
  3. 引用 Full-Duplex-Bench 93%、τ²-Bench Voice 73.5%,或约每音频分钟 0.01 美元成本时,请写明来源是 2026-11-16 官方博客,并注明 τ² 成绩为公司自报,再对一次上游;
  4. 不要把 Baseten Voice Agent Stack / Baseten Realtime Voice 写成已有的 Baseten 推理平台,或写成已入库的 Baseten Grid;本页只复述官方材料,对外引用前请再对一次上游。