FrontierPhysics

FrontierPhysics 是面向 端到端物理学研究 的智能体基准，论文：https://arxiv.org/abs/2611.06910 （arXiv:2611.06910）。

由活跃物理研究者（博士生、博士后、研究科学家等）基于本人做过的研究出题：共 56 项任务、42 位物理学家、26 所机构，覆盖理论 / 计算 / 实验物理共 九 个主领域。智能体收到类似 PI 开题指令的高层提示后，需查文献、制定计划、开展研究/实验，并产出可确定性核验的数值结果与科学手稿（如 paper.pdf）。

要点：

• 结合确定性 verifier（测试脚本核验数值输出）与专家撰写 rubric（含 blocker / non-blocker）；
• 通过 verifier + 全部 blocker 才算 pass；non-blocker 加权衡量稿件与研究质量；
• 评测约 22 个模型、26 种配置；早期结果：没有任何配置在 168 次 rollout 中通过超过 46 次；Claude Opus 5.5 总体 Pass@1 约 27.4%；
• 人工轨迹分析：主要短板是推理不够严谨与缺少专家直觉，而非单纯物理知识缺口或执行错误。

解决什么问题

既有物理基准多为固定问答、孤立子任务或“给原论文再复现”，难以衡量开放式、多阶段科研。FrontierPhysics 要求智能体在无参考解法的前提下做完整研究，并对正确性与可发表质量双重打分。

任务与评分

• 任务来自贡献者本人至少约两周以上的真实研究；部分底层工作已发表于 Nature、PRL、PRX 等；
• 交付物：确定性产物 + 手稿；全局 rubric 关注 reward hacking、幻觉、文献综合等；任务特定 rubric 由出题专家编写；
• 公式上：未过 verifier 或任一 blocker → 最终分 0；否则用 non-blocker 加权分衡量质量。

局限

• v0.1、56 题规模下分领域差异仍有不确定；
• 评审用 Agent-as-judge，存在误判可能（作者报告了部分 false negative 并修正）；
• 失败模式分析目前重点覆盖特定强模型队列，其他模型/harness 可能不同。

适合谁

• 物理 / AI4Science 智能体研究者；
• 需要“端到端科研 + 手稿质量”双重信号的评测方；
• 愿意贡献本领域真实课题的物理学家。

如何上手

1. 阅读 https://arxiv.org/abs/2611.06910 与论文中的任务/评测协议；
2. 关注 BenchFlow 等配套基础设施与公开任务发布渠道；
3. 按官方 harness（Codex CLI、Claude Code、Grok Build、Antigravity 等）复现 rollout；
4. 对比 Pass@1、确定性通过率与 rubric 分数，并结合失败模式（严谨性、直觉、文献）改进 Agent。