为了分析AI可靠性的问题，我在上一篇文章中把人造物分为四个层级，认为第四层级的AI和前三个层级之间存在元范式层面的转变。顺着这个脉络，聊聊为什么这种转变会发生，又意味着什么。

一、直接设计失效了

对于前三个层级的造物，人类扮演的一直是设计者的角色。第一层，人设计 $f$ —— 计算齿轮的传动比、桥梁的应力分布，指定每一个组件的形状和材料；第二层，人设计 $\delta$ —— 定义状态空间和状态转移逻辑，指定每个寄存器在每个时钟周期内的行为；第三层，人设计每个 $F_i$ —— 每个模块的定义域、输入输出。

人们继续沿用这种方式设计「人工智能」。上世纪七八十年代，AI 研究有一条主线叫专家系统。人们认为「智能 = 知识 + 规则」，如果设计一套系统把医学知识和诊断规则编码成程序，机器就能诊断。这一路线在某些垂直领域确实拿到了一些结果，但在通用人工智能的试验上，这种方式就行不通了。Cyc 项目从 1984 年开始，Douglas Lenat 带着一群哲学家和语言学家，想把人类常识以这种方式灌进一条条编码里。“水往低处流”、“人不吃饭会饿”、“排队的人不喜欢被插队”… 四十年过去，写了几千万条规则，但还是失败了。它知道“水是湿的”，但要做出“下雨天要带伞”的判断，它需要把“水是湿的”、“人不喜欢湿”、“伞能挡水”等一系列规则串起来做决策，而规则的串联方式本身也需要更多规则来规定。

日本 1982 年启动的“第五代计算机”项目，目标也是用规则和逻辑推理机制造一台通用智能机器，能理解自然语言、进行常识推理、自动翻译。十年后，项目悄无声息地结束了。没有失败声明，没有复盘会议，就是慢慢没了声音。

显然在这种路线下通过编写规则方式直接「设计」一个AGI系统是不现实的。需要编码的规则太多、成本太高，不能应对世界的变化，不能推理和泛化。旧版的Siri就是个「专家系统」，它的聪明程度能让你对这个技术路线的上限有个大体的感知。

二、设计者悖论

专家系统的失败不只是写不完规则，这看起来像是个成本问题。根本上在于这样一个系统的复杂度超过人能理解的上限。在不同的领域里，一个模式似乎反复出现。

1931 年，哥德尔证明了不完备性定理：任何足够强的形式系统，都无法在自身之内证明自身的一致性。系统无法完全描述自身。1936 年，图灵的停机问题：没有一个程序能判定任意程序是否停机。程序无法完全预测自身。1956 年，Ashby 在控制论里提出必要多样性定律：一个控制器要有效控制一个系统，它的多样性必须不低于被控系统的多样性…

这三个定理在不同的形式化体系里独立成立，逻辑上独立。但我觉得这反映着一种共通的结构：系统无法完整地描述/控制另一个与自身同等或更高复杂度的系统。

直接设计的本质正是微观的描述和控制：我们必须精确计算每个零件的形状、每个参数可能的变化。人不能直接设计出AGI —— 无法用 X 设计 ≥ X 的对象。我把这个现象不严谨地称为「设计者悖论」。

既然我们无法直接设计智能，剩下唯一可行的路径就是模拟我们自己的智能产生的过程——我们有智能，说明智能可以通过这种方式产生。我们的大脑是几十亿年逐渐演化出来的，机器学习这条技术路线的底层逻辑就源自这个观察：智能可以在足够大的网络结构和足够长的训练过程里自己涌现。AI 把时间维度的演化转化到算力和数据维度——用整个人类的语料库加上超大规模的 GPU 集群，让千亿参数的网络自己迭代，最终搞出了 LLM。方法不同，原理一样：放弃亲手设计每个参数，付出巨大的资源投入，让复杂度自己涌现。

技术路线正确与否我不知道，截至目前的LLM也很难被称为真正的智能。但我倾向于相信这种元范式是正确的。人的复杂度是在应对自然、处理协作的过程中演化出来的，那么AGI也极有可能在处理和人及世界关系的过程中「生长」出来。

三、造物影响造物者

人与物的关系是相互的，我们建造东西，也会同样被自己建造的东西改造。文字和印刷发明之后，人们学会阅读，思考节奏和深度随之改变；计算器出现后，心算能力萎缩；GPS 普及后，空间记忆和导航能力退化。我们造的每一样东西，都在以某种方式把我们重新塑造一遍。人适应新环境，新能力长出来，旧能力萎缩下去。

AI 不一样。它是第一个直接进入人类认知过程本身的东西。当你用 AI 协助写作、协助判断、协助决策，它不是站在你外面递给你工具 —— 它和你站在思考的同一个位置上。这带来一种新的模糊性，过去的任何工具都没有引出过。如果一篇文章的主要结构是 AI 给出的，我只是做了筛选和微调，这篇文章的作者是谁，版权属于谁？如果一个诊断方案是 AI 给出的，医生采纳了，结果出错，责任在谁？如果一段代码是 AI 写的，引入了漏洞，被追溯时法律应该指向提示词的写作者、模型的训练者、还是部署这个系统的公司？

这些法律和伦理问题还没有答案，更让人不安的是这些问题是前所未有的。写作、诊断、编程这些事，作者、责任人、智力劳动来源，以前是三位一体的，现在这一关系被AI松动了。这些我们本以为自明的概念，在 AI 面前开始显得不够用。

弗洛伊德有个著名的说法：人类的自恋在历史上遭受过三次重大打击。哥白尼把人类移出宇宙的中心，达尔文把人类移出生命的中心，弗洛伊德把意识移出心灵的中心。AI会是下一个「重大打击」吗？

四、复杂度差距红利

想到这里，可以退一步问一个更大的问题：为什么我们通过直接设计的方式能够制造出这么多东西？是什么支持这几百上千年的科技发展的？我们还能在这种范式下制造出更复杂的东西吗？

或许是因为，人类的认知复杂度，显著高于环境中大多数对象的复杂度。这个差距给了我们一个巨大的操作空间，我们能设计想要的东西，然后通过各种工具把它精确地制造出来。这几千年来我们可能一直在这个红利内创造文明。但AGI、意识、生命系统、复杂社会演化这些对象的复杂度超过了某个阈值，导致之前的路线在它们面前失效。

也许这就是为什么 AI 必须在现在以这种方式出现。