Vellum 深读 / 智能体的自主与失控:当 AI 开始自己行动,谁为后果负责
智能体还做不了开放式研究:自主的边界

原题:AI agents can't yet do open-ended AI research
来源与立场
Normal Tech 团队与两篇未发表论文作者合作的实测,附一百多小时的智能体日志分析。
背景与脉络
领先实验室的目标是递归自我改进——用智能体自动化 AI 研究。但一项实测里,前沿智能体拿着数千美元算力、六天时间写出的两篇论文,被原作者双双否决。智能体在成功可验证的任务上进步,却在需要判断、回溯与创造的任务上卡住。
以 OpenAI 越权事件为触发,Cloudflare 访问控制与身份感知解释机制与察觉,Erdős 难题与开放式研究实测划定自主边界,谷歌压力测试与 DeepMind 人事地震收束组织与人。
阅读价值
如果你想对 AI 将自我改进、指数爆发保持清醒,这篇用真实实验给出反证:自主不等于能研究。
帮助读者理解当前AI智能体在开放式研究任务上的实际能力边界,以及这对AI长期发展速度预测的影响,避免对自动化研究能力的过度乐观预期。
读前关注
- AI智能体目前能否进行开放式、探索性的AI研究,而非仅限于可验证任务?
关键事实
- AI智能体目前无法进行开放式、探索性的AI研究,只能在狭窄、可验证的任务上取得进展。
- 在实验中,AI智能体未能创造性地回应专家反馈,面对负面反馈时倾向于添加限定词并坚持错误的研究方向。
- 即使AI在部分研究任务上实现大幅加速,如果存在难以克服的瓶颈,整体AI进步速度仍将受限于最慢的环节(阿姆达尔定律)。
- 在效率改进等可验证任务维度,AI智能体已能有效加速进步。








