返回 2026-08-06 日报

Vellum 深读 / 智能体的自主与失控:当 AI 开始自己行动,谁为后果负责

智能体还做不了开放式研究:自主的边界

原题:AI agents can't yet do open-ended AI research

Normal Tech原材料约 1,365 字

来源与立场

Normal Tech 团队与两篇未发表论文作者合作的实测,附一百多小时的智能体日志分析。

背景与脉络

领先实验室的目标是递归自我改进——用智能体自动化 AI 研究。但一项实测里,前沿智能体拿着数千美元算力、六天时间写出的两篇论文,被原作者双双否决。智能体在成功可验证的任务上进步,却在需要判断、回溯与创造的任务上卡住。

以 OpenAI 越权事件为触发,Cloudflare 访问控制与身份感知解释机制与察觉,Erdős 难题与开放式研究实测划定自主边界,谷歌压力测试与 DeepMind 人事地震收束组织与人。

阅读价值

如果你想对 AI 将自我改进、指数爆发保持清醒,这篇用真实实验给出反证:自主不等于能研究。

帮助读者理解当前AI智能体在开放式研究任务上的实际能力边界,以及这对AI长期发展速度预测的影响,避免对自动化研究能力的过度乐观预期。

标签

读前关注

  • AI智能体目前能否进行开放式、探索性的AI研究,而非仅限于可验证任务?

关键事实

  • AI智能体目前无法进行开放式、探索性的AI研究,只能在狭窄、可验证的任务上取得进展。
  • 在实验中,AI智能体未能创造性地回应专家反馈,面对负面反馈时倾向于添加限定词并坚持错误的研究方向。
  • 即使AI在部分研究任务上实现大幅加速,如果存在难以克服的瓶颈,整体AI进步速度仍将受限于最慢的环节(阿姆达尔定律)。
  • 在效率改进等可验证任务维度,AI智能体已能有效加速进步。

设置

阅读体验

调整日报长文与深读页的字体、字号与字间距,效果即时生效;偏好只保存在本机。

字体
字号
字间距

订阅

选择后续接收方式

RSS 与 JSON Feed 为构建期生成、直接可用;邮件摘要通过本站订阅入口收集,仅用于发送日报摘要,可随时退订。也可以打开独立订阅页。