返回首页

Sarvam Token Factory

x+web 0.95
访问原文

介绍

Sarvam Token Factory 是印度 AI 公司 Sarvam 在 2026 年 11 月 16 日向所有人开放的推理服务。官方账号 @SarvamAI 于 2026-11-16T13:37:16Z(北京时间 2026 年 11 月 16 日 21:37:16)发帖:“Today, we are launching Sarvam Token Factory for everyone. We host our own models, and the full range of best-in-class open-weight models, in India. We match leading inference providers on performance and reliability.” 本轮核对原帖时约 2,673 次点赞、316 次转帖、约 59.5 万次展示、503 次收藏。该介绍落在 2026-11-17 00:32(北京时间)扫描窗口内,但当时未被入库,本轮在核对该帖与官方博文后补录。

同日官方博文 Introducing Sarvam Token Factory 写到,Token Factory 是他们的推理栈,在位于印度的 GPU 集群上提供自有模型与主流开源权重模型;并称在所服务的多数模型上,速度和成本可达到或优于全球主流推理服务商。博文列出的目录包括 Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro 和 Gemma 4 31B,通过一套 OpenAI 兼容 API 提供。官方还写到,他们运行着印度最大的 B200 集群,并已把同一套推理优化栈部署在关键机构的本地环境,也向企业提供这种 on-premise 选项。

同一线程里的后续官方帖补充了两项能力:DeepSeek V4.1 Flash 1017 提供 Interactive(约每用户 200 tokens/s,面向编码代理)和 Standard(面向后台与批处理,入门价对标 GPT-6 Luna 与 DeepSeek 自有 API)两个端点;Gemma 4 31B 被描述为兼顾智能体能力与印度语言支持的实时对话模型,官方称在 Token Factory 上首 token 时间比当时唯一的其他提供商快 5 倍、每秒生成 token 多 1.6 倍。入口在官方帖中的 “Start building” 链接,指向 Indus 上的 Token Factory(indus.sarvam.ai)。不要把它和已有词条 Sarvam Prism 混成同一个产品,那是该公司更早发布的模型/产品线。

广告

解释

Token Factory 的定位是推理平台,而不是一个新的基础模型名称。博文把它概括为:成本上对所服务的每个模型提供具有全球竞争力的定价;性能上把公司的推理优化集中到 Sarvam 105B,官方称对话场景下首 token 时间为 0.2 秒、单用户吞吐 330 tokens/s;时延上,Gemma 4 31B 在 10K token 提示、从孟买测量时首 token 0.40 秒,并称比当时唯一的其他提供商快 5 倍(对照为 2.00 秒),输出速度 308 tokens/s 对 193 tokens/s;吞吐上,Kimi K3.1 Pro 被称在同等每用户速度下,每 GPU 的 token 数可达 InferenceX 已公布结果的 1.9 倍(编码任务)。这些数字均来自官方博文,测量说明写的是:Gemma 对照为 72 小时中位数、客户端在 AWS Mumbai,对方便取其各档中该指标最好的一档。

价格方面,博文给出 DeepSeek V4.1 Flash 的入门价:Standard 为每百万 input token ₹14、output token ₹55;Interactive 为 ₹25 / ₹105。两个端点都按模型原生精度提供。官方还描述了一套三层缓存,带 cache-aware routing 与针对新注意力架构的 admission;并称在 DeepSeek V4.1 Flash 上每天服务超过 4,500 亿 token,其中 95.7% 的 prompt token 来自缓存。博文后半部分用较多篇幅写他们如何用分析器、服务器校准过的模拟器和评估套件做栈上实验,并由工程师在上线前批准;同时感谢 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 等上游工作。

对企业,官方强调可选模型更多、并且可以“拥有自己的 AI 栈、不被锁定”。除了 Token Factory 云服务,同一套优化栈也已用于关键机构的本地部署,并作为企业选项提供。数据驻留在印度、用卢比计价,是新闻报道与官方材料反复提到的差异点。

用法

按官方说明,Sarvam Token Factory 即日起对开发者和企业开放,通过一套 OpenAI 兼容 API 调用目录中的模型,并会继续在新开源权重模型发布当天跟进、按需求扩容。开始使用的入口在官方介绍帖的 “Start building” 链接,指向 Indus 上的 Token Factory 主页(indus.sarvam.ai);更完整的产品说明以 官方博文 为准。

选型时,博文把几个端点写得很具体:需要编码代理、追求较高每用户速度时,DeepSeek V4.1 Flash 的 Interactive 端点官方标称为约 200 tokens/s;后台或批处理则可走 Standard,价格更接近入门档。实时印地语及其他印度语言对话,官方主推 Gemma 4 31B,并给出从孟买测量的首 token 与吞吐对照。自有模型 Sarvam 105B 被写成对话场景下成本与速度的组合点。若不能满足云上调用,官方称也可把同一套推理优化栈做 on-premise 部署。

调用协议是 OpenAI 兼容 API,因此现有走 OpenAI 接口的应用、代理和网关,理论上只需改 base URL、模型名和密钥即可切换;具体模型目录、配额与鉴权以官网当时公布的目录为准,本页不编造未在官方材料中出现的端点路径或密钥申请步骤。官方也写到会继续为在 Token Factory 上构建和部署代理提供更多工具。