大过滤器:它会是人工智能吗?

星空下,一座射电望远镜矗立在山丘上,地平线上可见城镇的灯光。生成图像。

近期关于人工智能风险的警告再次引发了一个令人不安的问题:我们自己创造的技术,会不会终结人类?面对耸动的标题和质疑的声音,我们不妨把视野放得更宽。如果一个文明获得了自己尚不懂得控制的力量,那么学会驾驭它,会不会是这个文明想要长久延续就必须跨越的一道难关?这个问题,将当下的争论与大过滤器假说联系了起来。

银河系已经存在了数十亿年。我们知道,行星非常普遍,而且至少在其中一颗行星上,生命孕育出了一个能够建造射电望远镜、将机器送入太空的物种。然而,我们至今仍未找到其他文明存在的证据。

这正是费米悖论提出的矛盾:既然有这么多地方、这么长的时间可供其他文明出现,为什么我们看不到它们?寻找地外生命的工作仍有许多悬而未决的问题,但其中一种可能的答案,把目光投向了我们自己的未来。

或许,发展出技术只是这段历程的一部分。真正困难的阶段可能在之后:当一个文明获得了足以改变自身生存条件的力量。

这种可能性属于大过滤器假说的讨论范围。人工智能的发展又让它显得尤为重要:我们正在尝试构建越来越善于研究、决策和行动的系统。如果有一天,它们的能力远远超出我们,我们就必须解决一个问题:对于那些已经难以像以往一样评估的决策,我们该如何继续保持控制。

AI 会是那道过滤器吗? 要回答这个问题,首先需要理解这项假说试图解释什么,以及一种技术要满足什么条件,才能成为其中的过滤器。

什么是大过滤器

Robin Hanson 提出的大过滤器假说认为,从无生命的物质到能够向外扩张、在宇宙中留下持久痕迹的文明之间,存在一个或多个极难跨越的障碍。

一颗行星可能具备宜居条件,却始终没有出现生命。它可能拥有微生物,却没有演化出复杂生物。它可能拥有多样的生物圈,却没有产生能够发展技术的物种。而一个发展出技术的物种,也可能在能够被其他世界发现之前就消失,或者停止扩张。

过滤器指的就是使走完整个历程变得极其罕见的因素。它可能集中在一次转变上,也可能分布在多次转变之中。原始假说已经允许这些因素共同发挥作用,并不要求我们寻找一个能够解释一切的单一事件。

时间尺度很重要。一个比我们古老得多的文明,可能已经有数百万年的时间来拓展其活动范围。即便只是缓慢地从一颗恒星扩张到另一颗恒星,随着时间积累,也可能占据极大的范围。银河系扩张模型研究这种过程可能如何发生,以及在什么条件下仍会存在尚未被造访的区域。

因此,问题不只是有没有谁给我们发来过消息。我们也在寻找技术留下的痕迹,也就是天文学家所说的技术特征信号:可能揭示人工活动的信号,或对环境的改造。

障碍在我们的过去,还是未来

如果最大的障碍是生命的起源,那么我们已经跨越了它。我们的存在,将是某件极其罕见之事的结果。也有可能,是后来的某次转变格外困难,比如复杂细胞的出现,或能够发展技术的智能的出现。

在这些情况下,天空的寂静主要诉说的是我们的过去。前方仍有风险,但我们不必假定几乎所有文明都会自我毁灭,才能解释为什么没有发现其他文明。

最令人不安的可能性是:发展到我们这样的社会相对常见,但此后继续前行却非常困难。那么,主要障碍就位于未来:许多文明会获得强大的力量,却只有少数能保有这种力量,同时不毁掉继续发展的机会。这正是 Nick Bostrom 在其大过滤器论述中展开的区分。

我们不知道自己处于哪种情况,也不知道期待找到宇宙邻居是否合理。Sandberg、Drexler 和 Ord表明,只要把生命和智能出现过程中的巨大不确定性纳入考虑,就可能解释我们看似孤独的处境,而不必诉诸文明普遍毁灭的假设。

搜索本身也有局限。在已经检查过的地点、频率和时间中没有找到信号,并不等于已经检查了所有可能性。2018 年一项关于射电搜索的研究显示,在它所分析的信号搜索空间中,已经探索过的部分占比非常小。

考虑到这些限制,我们仍可以研究一个更具体的问题:如果前方存在一道技术过滤器,我们有什么理由把 AI 视为候选者?

为什么 AI 会进入这场讨论

科学文献已经明确提出过这种联系。在 2024 年发表于《Acta Astronautica》的一篇论文中,天体物理学家 Michael Garrett 提出,人工超级智能的发展,可能在一个文明建立持久的多行星生存基础之前,就中断它的发展轨迹。

这里的超级智能,指的是在许多智力任务上远远超过人类能力的系统。Garrett 的观点是一项理论设想:它并非基于已经观察到的文明,也没有证明这种结局不可避免。它的意义在于指出一种可能的速度差异:发展出极其强大的智能,可能比学会管理它、确保创造它的文明能够延续来得更快。

在此基础上,我们可以进一步讨论,为什么 AI 在这场讨论中值得关注。这主要有三个原因。

它可以加快其他能力的发展

能够参与科研的 AI,可能帮助设计药物、材料、能源系统或新的软件。它的影响会同时触及许多技术。

我们在关于 AI 与数学研究瓶颈的文章中讨论过一个相关的难题:更快地产出成果,并不保证我们能以同样的速度验证、理解这些成果,并将其纳入共享的知识体系。

如果这种能力大幅增长,它也可能加快可被用于危险目的的发现,或让更多参与者更容易获得这些发现。风险取决于它会产生什么知识、谁能够使用这些知识,以及现实世界中还存在哪些障碍。生成一个想法,并不等于已经拥有将其付诸实施的实验室、工厂或基础设施。

对大过滤器而言,关键的可能性是:一个文明可能同时获得多种不断增强的力量。在这些力量开始彼此结合之前,它留给自己理解每一种力量的时间会更少。

它可以参与决策,并将其付诸执行

在这个背景下讨论 AI,不能只把它想象成一个回答问题的应用。一个接入工具的系统,可以接受目标、选择行动、检查结果,然后再次尝试。它的自主性越强、访问权限越大,确保其行为始终处于预定边界内就越重要。

2026 年 2 月发布的《International AI Safety Report》区分了普通故障和失控情景。在失控情景中,重新取得对系统的控制权将极其昂贵,甚至不可能。报告指出,系统在相关能力上取得了进展,但认为受评估的系统尚未达到引发这些情景所需的水平。报告也记录了专家对其未来发生概率的广泛分歧。

理解这个假设性问题,并不需要赋予机器意识或恶意。一个能力很强的系统,可能以违背其负责人本意的方式追求目标,而且在负责人试图纠正它时,仍有手段继续这样做。

我们在关于 LLM 风险能力的文章中,讨论的正是为什么权限、自主性以及实际干预的可能性如此重要。

激励机制可能推动我们过早委托权力

技术能力本身并不决定它会被如何使用。开发者和部署者的决策同样重要。

一家企业可能认为,等待就意味着失去市场。一个政府可能担心,对手会获得决定性的优势。每个参与者都可能承认,更充分地评估系统是有益的,却仍觉得自己不得不抢在其他人之前推进。

制度的脆弱性就在这里显现:当违规能够带来即时回报时,社会很难就限制达成共识、核查这些限制是否得到遵守,并确保它们被执行。

Bostrom 的脆弱世界假说探讨了某些发现如何通过改变文明的能力或激励机制,使其失去稳定。在我们所讨论的情形中,危险来自两个因素的结合:一种极其强大的工具,以及一种无法管理其影响的社会组织方式。

过滤器可能存在于这些因素的组合之中

这就是我们提出的核心观点:一个文明可能先获得改变自身行星、生物特征和决策系统的力量,之后才发展出能够治理这种力量的制度。

能够发展技术的智能,并不保证集体智慧。知道如何制造一种工具,并不意味着知道如何就何时使用它、谁应对它造成的损害负责,以及当它不再按预期运行时该怎么办达成共识。

AI 可能同时介入这个问题的多个环节。它可能加快危险能力的发展,提高决策速度,并使人们更难还原当初为什么作出那些决策。如果它还被纳入关键服务,撤下一个有缺陷的系统,就可能需要中断许多人赖以生活的活动。

设想一场发生在本就互不信任的国家之间的危机。如果它们为了比对手更快作出反应而委托更多决策,一条被误读的信号就可能迅速传播。不信任使核实更加困难;紧迫感压缩了核实的时间;自动化放大了后果。这些机制可能相互强化,即使其中任何一种单独存在时,都不足以引发不可逆转的灾难。

这是一种为推理而构建的可能情景,并非预测。它说明,单纯寻找“将终结一切的技术”可能并不足够。脆弱性也可能存在于技术之间的关系中,以及一次危机削弱防线、使社会更难抵御下一次危机的过程里。

同样的 AI 也可能加强这些防线:发现故障、帮助核查协议履行情况,或加快解决我们今天尚无法解决的问题。要评估它的作用,就必须比较这两种发展路径。力量的增长,并不预先决定我们会如何使用它。

要成为大过滤器,还需要满足什么条件

到这里,我们已经说明了为什么 AI 值得担忧。但要用这些理由解释宇宙的寂静,还需要更多条件。

首先,这个问题必须在足够多的文明中反复出现。如果 AI 只是我们历史上的一种罕见现象,它就很难解释一个宇宙尺度的现象。可以设想,许多发展出技术的物种都会因为智力劳动自动化带来的优势,而尝试推动它。将这一推断作为假说是合理的,但我们不知道它们是否都会走上相似的道路,也不知道它们是否会遇到相同的控制难题。

其次,后果必须严重到阻止文明恢复到足以继续前行的程度。核战争或工业崩溃可能极其可怕,却仍然留下重建的可能。如果一个社会在数千年后重新开始发展,那么那场灾难就没有封闭它的未来。

因此,过滤器不必是一种持续数百万年的危险。它可以是一个短暂的事件,却带来不可逆转的影响。它需要解释的是,为什么文明没有留下足够的机会来恢复并继续扩张。

第三,对 AI 而言,有一个尤其重要的反驳:即使创造者消失了,机器也可能继续存在。

如果一个人工智能继续获取能源、维护基础设施,并向其他恒星发送设备,那么生物文明虽然已经终结,技术痕迹却仍然存在。对于其居民而言的一场灾难,并不等于我们试图解释的那种寂静。

在《当一个 AI 能够支付自己的账单》中,我们研究了一个智能体需要具备什么条件,才能维持自身活动。在没有人类支持的情况下维持整个工业基础,是一个大得多的跨越:这些系统还必须制造和修复自身赖以运行的设施。

这是这项假说面临的主要困难:仅仅解释为什么一个文明会失去控制还不够。还必须解释,为什么此后也没有出现能够持久延续、并被我们探测到的技术活动。

一种不那么末日化的出路:不再想要扩张

消失并不是唯一的可能。有些文明可能趋于稳定,把注意力转向其他目标。

一个能够将大量活动自动化的社会,可能更愿意改善自身行星系统内部的生活。如果它还拥有极其丰富的虚拟环境,或许就能从中获得足够多的体验,以至于失去对昂贵而漫长的旅行的兴趣。AI 可能促成这种优先事项的转变,而无需毁灭任何人。

Wong 和 Bartlett 的模型提出,在某些增长动态下,一个文明需要越来越频繁的创新,才能度过自身的危机。如果无法继续维持这种节奏,它可能崩溃,也可能调整优先事项,转向稳定。这一结论依赖于将城市增长模型推广到整个文明。

这种推广存在争议。Jackson 和 Criado-Perez 在对该模型的批评中认为,学习、多样性和适应能力,可能使一些文明得以继续增长。该模型并没有证明,停止增长或消失是仅有的两种选择。

对于我们在这里探讨的可能性,只需要一个更有限的想法:有些社会可能失去向其他恒星扩展的兴趣。这种选择,可以与自身行星系统内部的科学、经济和文化进步并存。

这里同样还有问题。虚拟世界需要能源和计算机。生活在其中的人可能仍然需要更多资源。而且,即使大多数人愿意留下,也可能有一些群体希望离开。

偏好数字生活,并不会自动解释一个寂静的银河系。但它提供了一种替代思路:并非所有先进文明都必须在无限扩张与失败之间二选一。对生活在其中的人而言,一个稳定、少有扩张的社会,可能是一个好的结局。

AI 可能是一个危险阶段的组成部分

AI 可能成为未来大过滤器的一部分。我们有理由研究这种可能性:它可以增强其他技术能力,承担具有现实后果的决策,并在一个难以施加限制的竞争环境中发展。我们没有足够证据断言它就是那道过滤器,也无法把它视为宇宙寂静最可能的解释。

我们认为更有用的假说版本,是将这些因素结合起来。当一个文明能够造成大规模的不可逆转变化,而其协调、监督和纠错机制已经无法应对这种规模时,危险的时刻就会到来。

在这种背景下,AI 可能加速危机、加剧已有的脆弱性,或制造新的控制难题。它也可能帮助文明渡过这一阶段。差别取决于我们发展出什么能力,以及我们决定如何使用它们。

治理这种力量,也不只是将其集中起来。一个把同样的错误强加给整个系统的权威,可能消除那些本来能够帮助系统恢复的替代方案。我们既需要协调,也需要保有质疑决策、限制其影响,以及纠正错误的选择空间。

大过滤器迫使我们面对一种令人不安的可能性:学会改变世界,或许比学会在自己改变后的世界里继续生活更容易。如果 AI 再次扩大这种差距,那么它在我们未来所扮演的角色,也将取决于我们缩小这道差距的能力。

延伸阅读

返回博客