StateBench

StateBench 是 Ai2（艾伦人工智能研究所） 新推出的基准，衡量语言模型在长文档中追踪不断变化的信息的能力，例如一个对象或变量的值随着文本推进被多次更新。

它分为四个难度级别，Ai2 用它展示当前模型在哪些地方会出错，以及**针对性训练如何帮助循环架构和混合架构（非纯 Transformer）**处理更长的序列。

来源：https://allenai.org/blog/statebench（本轮雷达窗口中 allenai.org sitemap 新增的页面）。

为什么值得关注

很多长上下文基准测的是检索（大海捞针）。而真实任务，比如代理跟踪长日志、阅读代码库或多步骤叙事，需要的是状态追踪：经过多次更新后知道当前值是什么。StateBench 专门隔离出这项能力，对主打低成本长上下文的线性注意力、循环和混合架构尤其有参考价值。

限制

这是研究性基准，比较分数前请先查看博客和论文中的具体任务格式、数据发布情况和评测模型。

1. 阅读 https://allenai.org/blog/statebench 了解任务设计和四个难度级别；
2. 顺着文中链接找到论文、代码和数据（如已发布）；
3. 在各难度级别上跑你的模型，观察准确率随文档长度在哪里下滑；
4. 如果你在训练循环或混合架构模型，可尝试 Ai2 描述的针对性训练方法后再评测。