FastFrames-L / FastFrames-S
介绍
FastFrames-L / FastFrames-S 是 Apple 推出的自回归视频扩散模型家族,目标是把 480p 视频生成做到交互级延迟(官方写明 <50 毫秒)。官方项目页标题为《FastFrames: Video Generation at Interactive Latency》,TL;DR 写明 FastFrames-S(1.3B)和 FastFrames-L(14B)“are autoregressive video diffusion models that generate 480p video at interactive latency (<50 ms)”。作者为 Gene Chou(Apple、Cornell)以及 Apple 的 Guandao Yang、Fujun Luan、Lars Mescheder、Wei Dong、Stephan R. Richter 和 Vladlen Koltun。
官方给出的延迟是:S 在单块 NVIDIA B200 上每帧 36 毫秒,约 28 RPS,并称其生成质量可对齐一个几乎慢 8 倍的现有模型;L 在 8×B200 节点上每帧 45 毫秒,约 22 RPS,画质和真实感明显更好。同一页的对照表还给出了稳态、480p 下的端到端数字:FastFrames-S 为 36 ms(1 GPU)/ 14 ms(8 GPU),FastFrames-L 为 158 ms(1 GPU)/ 45 ms(8 GPU)。
Hugging Face 上的官方仓库为 apple/FastFrames-L 与 apple/FastFrames-S。本轮扫描看到 FastFrames-L 创建于 2026-11-16T17:21:04Z;正式介绍页与随后的公开报道把这一家族作为可在交互延迟下运行的开源权重模型发布。不要把它和 Apple 的消费级设备功能混为一谈:项目页上的测速平台是 NVIDIA B200。
广告
解释
官方把现有自回归视频扩散模型的问题概括为:它们至少还慢一个数量级,做不到流畅交互。FastFrames 的做法是先剖析推理流水线,发现常被当成固定实现细节的 VAE 解码和 KV cache 更新,实际上占了端到端延迟的一半以上,于是用更轻量的替代方案换掉这些部件,并在扩散采样上做系统级加速。
质量与延迟的对照写在项目页的 Pareto 图和样例里。官方称 FastFrames-S 在保持 CF++ 视觉质量的同时快了近 8 倍;FastFrames-L 在真实感、遵循提示、构图和文字渲染上可与 Krea-Realtime 相比,同时快 10 倍以上。14B 模型相对各自的 1.3B 对照,会给出更真实的光影、更连贯的构图和更清晰的文字。页面还提到,用 FastFrames 优化后的 LingBot 1.3B 可获得 16 倍加速,用于流畅的相机条件控制;演示里也有 RealWonder 的物理拖拽对照。
这些数字都是官方在 B200、480p、稳态条件下报告的结果。本条不另行补充项目页未写明的训练数据许可证或硬件支持范围。若要部署,应以官方项目页和 Hugging Face 模型卡上的许可、依赖和硬件说明为准。
用法
第一方入口是项目页 FastFrames: Video Generation at Interactive Latency,权重在 Hugging Face 的 apple/FastFrames-S 与 apple/FastFrames-L。官方把它们定位为可在交互延迟下做相机条件或物理条件视频生成的自回归模型,而不是离线、高延迟的长视频生成器。
选型上,S(1.3B)更轻,官方在单卡 B200 上给出 36 ms/帧;L(14B)画质更好,官方交互级数字是在 8×B200 上的 45 ms/帧,单卡则为 158 ms。若只在消费级设备或非 NVIDIA 环境里测试,不要直接套用这些 B200 数字。
引用时请写 FastFrames-S / FastFrames-L 或 FastFrames 家族,避免和别的 FastFrame 或视频加速项目混淆。许可证、推理代码和依赖以模型卡与项目页当时的说明为准。