Vellum 深读 / 智能体的自主与失控:当 AI 开始自己行动,谁为后果负责
身份感知:在 AI 账单里抓出失控的智能体

原题:Catching rogue AI behavior with identity-aware analytics
来源与立场
Cloudflare 博客介绍身份感知 AI 网关(开放测试)与用户洞察功能,把 AI Gateway 流量变成行为基线,识别凭据泄露或代理失控。
背景与脉络
失控不一定以黑客事件出现,更多时候藏在账单里:某个智能体用量突增十倍,你却不知道它是谁。Cloudflare 把身份关联进每个 AI 请求,为每个人和每个智能体建立行为基线,偏离即报警。
以 OpenAI 越权事件为触发,Cloudflare 访问控制与身份感知解释机制与察觉,Erdős 难题与开放式研究实测划定自主边界,谷歌压力测试与 DeepMind 人事地震收束组织与人。
阅读价值
如果你想看失控如何被察觉的工程细节——身份加基线加异常检测——这篇是现实中的落地方案。
帮助读者了解企业在AI使用治理中面临的具体挑战(如账单不透明、身份缺失),以及一种通过建立身份关联和行为基线来监控异常、提升安全与成本管理透明度的技术方案。
读前关注
- 企业如何有效监控和识别AI使用中的异常行为(如代理失控或用量激增),以解决AI治理中的安全与财务问题?
关键事实
- 企业AI治理面临的主要障碍是“知识空白”,即不清楚谁在使用AI以及如何使用。
- 识别AI使用中的异常需要两个要素:每个请求关联的经过验证的身份,以及该身份的正常行为基线。
- 账户自身使用量的突然偏离(如激增10倍)往往是凭据被盗或代理失控的第一个可观察迹象。
- Cloudflare建议从监控模式开始,先学习建立行为基线,再强制执行相关策略。








