返回首页 访问原文
Science's Last Exam
介绍
Science's Last Exam(SLE) 是 AItonomy Foundation 发起的科学智能体基准,官网:https://sciences-last-exam.org/ 。核心问题:AI 能否端到端做科研?
任务由斯坦福、牛津、普林斯顿等机构的研究者以个人身份参与设计与审阅;公开材料称由来自约 34 所机构、五个国家的博士生与博士后撰写与评审。
要点:
- 113 项公开任务,覆盖 9 个学科;
- 6 项能力诊断 + 1 项端到端研究评估(湿实验执行等模块仍在建设/扩展);
- 能力包括:假设发现、方案规划、科学计算、科学软件操作、实验观察等;端到端任务要求智能体持续提出假设、选择实验并处理反例,并以可核验产物收尾;
- 早期报道:在约 8 个前沿模型配置中,最佳综合分约 37.5/100(Claude Opus 5 + Claude Code);端到端科研赛道上报道为全部 0 分;
- 计划开放任务包与排行榜评测(官网称约 2026-11-06 正式发布相关资源)。
解释
解决什么问题
多数科学基准停在答题、子任务或“给定论文再复现”。SLE 面向完整科研闭环:假设 → 规划 → 计算/软件 → 观察 →(规划中的)湿实验,并用专家定义的隐藏核验判断结果是否真的成立。
评测结构
- 能力诊断:拆开看缺哪一环(文献/假设、协议、代码、GUI 软件、视频观察等);
- 端到端闭环:看能否把各能力串成可独立核验的研究结果;
- 任务强调真实研究问题与可打开检查的产物,而非选择题分数。
局限
- 端到端与湿实验部分仍在扩展;部分前沿模型在排行榜上可能尚未评完;
- 37.5/100 等分数来自公开发布/报道口径,具体榜单以官网 Leaderboard 为准;
- 跨学科任务难度与核验标准高度依赖领域专家设计。
用法
适合谁
- 做科学智能体 / 科研自动化的实验室与创业团队;
- 需要端到端科研基准而非纯 QA 榜的模型评测方;
- 愿意贡献真实科研任务的领域研究者。
如何上手
- 访问 https://sciences-last-exam.org/ 阅读 Blog / Docs / Tasks;
- 下载或按文档运行公开任务包,在 Claude Code / Codex 等 Agent 环境中评测;
- 通过 Contribute 提交难题任务,加入共著者名单;
- 引用:AItonomy SLE Team, Science's Last Exam, 2026, https://sciences-last-exam.org/ 。
广告