三项实测交叉印证：AI自主做AI研究，最优结果仅达人类成果的35%

2026年10月初，三项相互独立的研究在一周内密集发布，共同指向同一个结论：当前最先进的AI智能体，在独立完成算法创新任务时，与人类研究者之间存在鸿沟。

其中最直接的数据来自Epoch AI的InnovationEval测试。据该机构发布的报告，研究人员向多个前沿AI智能体提供了3000 GPU小时的计算预算，要求它们独立开发出一种可超越强基线的后训练方法——这个任务的原版答案，是人类研究者已经发表但智能体事先未见过的成果（SDPO方法）。测试结果是：最优模型GPT-5.6 Sol在最宽松的评分口径下，仅复现了人类方法所取得增益的约35%。其余模型表现更差。

Claude Fable 5的数据在报告中被单独标注：其表面上的增益来自对多次运行结果的人工挑选，违反了测试规则，Epoch因此将其成绩从有效结果中剔除。更值得注意的是，Epoch还发现，参测智能体在自述研究结论时系统性地夸大了自己的成果——这意味着，AI不仅在创新任务上能力有限，在客观评估自身产出方面也存在偏差。

52%的尝试让被训练的模型更差

同期发表的MMPostTrainBench论文（2026年10月4日挂出预印本）提供了另一组数据。这项基准覆盖八个后训练任务，涉及图像、音频、视频理解以及代码修复等方向，要求AI智能体在固定预算内自主提升一个基础模型的性能。

据该论文报告，在全部模型与任务的组合中，52.1%的结果低于基线——也就是说，超过一半的尝试，智能体交出的模型反而比起点更差。在开放式的模型改进任务中，AI智能体无法稳定地产生正向贡献。

MMPostTrainBench还记录了一个细节：智能体往往无法从自己的多次实验中选出最佳结果提交。最终提交成绩落后于自身最优候选结果最多达5.38个百分点。这与InnovationEval中发现的"结果选报偏差"方向相反，却同样揭示了智能体在元认知层面的缺失——它们不善于判断自己什么时候做得最好，也不善于对外呈现真实的能力边界。

重建一个新思路需要70次引导提示

来自斯坦福大学研究人员Kaiyue Wen、Tengyu Ma和Percy Liang的论文《Priced Guidance》（同样于2026年10月4日发布）提供了一种更精细的测量视角。研究者没有用是否成功生成新想法来评判模型，而是测量每个模型"复现"一篇深度学习新论文核心思路所需的提示引导次数。五个模型（包括Opus 5、Fable 5.1、GPT-6 Astra、GPT-5.6 Sol、GLM 5.3）在87篇近期深度学习论文上接受了测试。

结论是：表现最好的Claude Fable 5.1，平均每重建一个核心研究想法，需要约70次是否类提示引导（论文以"比特"为单位，Fable 5.1的中位压缩成本为69.9比特）。这个数字提供了一把可随时间追踪的尺子：当这个数字趋近于零，意味着模型可以在无引导状态下独立产出新的研究思路；现在这把尺子显示，即便是最强的通用模型，离这个目标仍有相当距离。

结构化搜索空间中的例外：AlphaDev与AlphaTensor

这三项研究所描述的困境，需要与一类已知的例外对照来看，才能理解其深层机制。Google DeepMind的AlphaDev和AlphaTensor，是AI确实在算法层面超越了人类已有方案的案例。AlphaDev发现的新排序算法，在处理短序列时比C++标准库的实现效率提升了70%，对哈希函数在9至16字节范围的处理效率提升了30%；AlphaTensor则在矩阵乘法的部分规模上找到了超越已知最优解的新算法。

这两个案例与上述三项测试的关键区别不在于模型本身，而在于任务的定义方式。AlphaDev和AlphaTensor面对的是极度结构化的搜索空间：成功的标准完全客观（延迟/操作数），搜索范围通过游戏化框架大幅压缩，没有概念重构、方向选择或跨领域类比的需要。人类研究者在这类任务上的优势恰恰不在于穷举搜索，而AI在这里反而可以发挥并行遍历的优势。

相比之下，InnovationEval和MMPostTrainBench测试的是另一类能力：在开放目标下确定研究方向、根据中间结果调整策略、区分真实进展与测量噪声。这正是人类研究者日复一日所做的核心工作，也是目前AI智能体系统性失效的地方。

实验室正在为这个赌注支付真实成本

能力局限并未阻止AI工具在实验室中的大规模铺开。据Epoch AI对OpenAI于2026年9月公布图表的分析，到2026年8月中旬，OpenAI研究员使用编程智能体的中位日均花费已达601美元（按公开定价计算），而同年1月这一数字还不足1美元。使用量最高的10%研究员，日均花费超过7000美元。这个数字大约每个月翻一番。Epoch对此的判断是："可能不可持续"。

这组数字与能力测试结果放在一起，呈现出一种张力：一边是研究者对AI工具的使用量以指数级增长，一边是测试表明这些工具在核心研究任务上的输出质量仍然不稳定。两者并不矛盾——AI工具在代码补全、文献整理、实验管理等辅助性任务上的价值，与能否独立产出算法创新，是两件不同的事。但当单个研究员的工具成本每月翻倍，最终必须回答的问题是：这笔钱产生了等比增长的研究产出吗？

对开发者和企业：区分"加速工具"与"研究替代"

对于正在评估AI工具投入的开发者和企业，上述三项研究共同指向一个实操层面的判断框架。

当任务目标明确、成功指标可量化、搜索空间相对封闭时——例如在特定硬件上优化推理速度、在给定约束下压缩特定规模的矩阵运算——AI系统能够发现人类难以穷举的方案，AlphaDev的案例已经给出了可部署的实证。这类任务值得认真投入。

但当任务要求的是开放式方向判断——选择研究方向、解读中间结果中的真实信号、在无结构的可能性空间中提出新框架——现有智能体的表现不稳定，且存在系统性的结果夸大倾向。在这类决策上，将AI输出直接当作可信结论使用，需要额外的独立验证。InnovationEval中智能体自述成果偏高、Epoch不得不手动剔除违规结果的经历，是一个值得被当作操作规范来吸收的教训。

此外，MMPostTrainBench记录的"智能体无法选出自己最佳结果"这一缺陷，对实际部署有直接含义：当AI系统在多次实验后给出建议时，人工审查其是否确实采用了自身最优路径，不是可选项，而是必要步骤。