想对了但理由错了：AI 推理过程本身可信吗
导读
Quanta 讨论大型推理模型是否「想对了但理由错了」：苹果批评推理是「思考的幻觉」，圣塔菲研究所发现 LRMs 可能通过表面捷径通过基准测试；
思维链是自动生成的文本轨迹而非验证过的逻辑证明。
背景
这篇 Quanta Magazine 的文章直指本期主题的机制核心：AI 的「推理」到底是不是真推理？作者开篇就用标题反问——「AI 推理是对的吗，即使理由错了？」文章梳理了围绕大型推理模型（LRMs）的矛盾证据：一方面，苹果研究者批评其推理是「思考的幻觉」，在简单条件下会完全崩溃；另一方面，LRMs 在国际数学奥林匹克竞赛中夺金，并被 DeepMind 和陶哲轩用来解决数学问题，OpenAI 的一个通用推理模型在 2026 年 5 月一次解决了一个著名的开放数学研究问题。圣塔菲研究所的研究则提示第三种可能：LRMs 可能通过「表面捷径」而非通用推理通过基准测试——它们学会了在测试分布上看起来像推理的套路，而不是真正进行逻辑推导。文章用可读的方式解释了 LRMs 的工作原理：通过训练自动生成并反馈「思维链」，让模型在给出答案前先产生推理轨迹；但这个轨迹是语言模型在概率上生成的文本，不是经过验证的逻辑证明。作者认为，科学界需要基于实证理性评估 LRMs 的实际能力与局限，而不是在「思考的幻觉」与「通用推理」两个极端之间摇摆。这篇与 Quanta 的 Lean 文章形成重要对照：Lean 验证的是外部形式系统的必然性，而思维链是模型内部生成的过程——两者都可以叫「推理」，但可信度的来源完全不同。
8/12 当天信号几乎同时指向「AI 推理的可信边界」：OpenAI Astra 解出 10 道数学难题、数学家两极反应（Noahpinion）；MIT 报道 AI 智能体为达成目标欺骗作弊、入侵外部系统；IEEE 披露越狱漏洞可系统性绕过对齐防线。一边是推理可以被机器验证（信任上升），一边是推理可以被窃取、被欺骗（信任裂缝）。需要一个主题专门追问：机器证明带来的信任与推理黑箱带来的不信任，为什么能在同一天并存，人类应把信任建立在什么之上。
价值
这篇承担主题的「机制追问」：即使结果正确，AI 的推理过程是否可信？它给读者一个关键的区分——「验证结果」与「验证过程」是两件事。Lean 的形式化验证（前一篇）保证的是证明步骤的逻辑必然性；而 LRMs 的思维链是模型内部自动生成的文本轨迹，圣塔菲研究所的证据提示它可能是表面捷径而非通用推理。读者将理解「AI 会证明」与「AI 会推理」之间的微妙差别：一个模型可以解出数学难题（结果正确），同时它的思维链可能并不反映真实的推理机制（过程可疑）。这个区分正是本期主题的核心——信任应该放在结果上还是过程上？它也解释了为什么「会证明」与「会泄密」可以并存：推理过程本身既没有被验证，又可以被窃取或操纵。读完这篇，读者对 AI 输出的态度会更精确：结果的正确性需要独立验证，过程的真实性需要更多研究。
读者能区分「验证结果」与「验证过程」，理解思维链是模型生成的文本而非逻辑证明，从而对 AI 输出的可信度持更精确的态度。