大语言模型的未来风险：一张能力地图

在英国 AI 安全研究所 AISI 于 2026 年公布的一次评估中，某个版本的 Mythos Preview 分别在 10 次尝试中完成了 6 次和 3 次网络攻击任务。测试预先授予了初始访问权限，目标是没有主动防御者的小型企业网络。即便存在这些限制，结果仍说明了一点：系统能够把多项行动连接起来，完成一整项行动，而不只是利用单个漏洞。AISI 的评估既展示了进展，也展示了它与攻击一个会主动防御的组织之间仍有多远。

这个区别有助于理清大语言模型（LLM）的未来风险。一个系统可能拥有非凡的知识，却需要人不断帮助才能运用。另一个系统可能相当自主地执行任务，却无法隐藏自己的行动。第三个系统可能不控制任何服务器，却能对人类决策产生很大影响。

不同组合带来不同危险。笼统地说 AI“更聪明”，会过早地把这些问题归为一类；考察它能做什么，才能追踪通向损害的机制。我们可以研究这些机制，而不必给它们指定某一年，也不必假定所有能力都会以相同速度进步。

六项改变风险的能力

这里分析的是完整系统。智能体把模型、工具、记忆，以及观察行动结果并决定如何继续的运行过程结合起来。它能够采取什么行动，还取决于凭据、预算和访问权限。同一个 LLM 的两种部署方式，可能带来截然不同的风险。

下表给出一张能力与后果的地图。它不是发展阶段的阶梯：各项能力可以分别进步，一些最严重的危险需要其中多项能力共同作用。

能力	关键变化	可能带来的风险
1. 高级技术能力	在陌生环境中解决困难问题，并把方案付诸实践。	让更多人获得进攻能力，造成过去需要专家才能造成的损害。
2. 持续自主行动	完成开放性任务，纠正错误，协调工作，而不需要人持续补救。	大规模执行行动，在人介入前造成连锁损害。
3. 自适应说服	可靠地影响真实决策，并根据结果调整互动。	持续操纵个人，以及影响力的集中。
4. 理解监督机制	预判哪些内容会被审查，并向有能力的监督者隐藏行动。	误导性评估、隐蔽破坏，以及获准执行本应被阻止的行为。
5. 获取资源并持续运行	为新的运行实例筹资、保存状态，在失去访问权限后继续工作。	无法仅靠撤销原始账户来停止其活动的智能体。
6. AI 研究与开发	产生让下一代模型更擅长研究的改进。	危险能力与委托规模加速增长，留给评估的余地缩小。

能够做一件事、有理由去做，以及具备行动条件，是三个不同问题。 操作者可以提供恶意动机；系统集成可以提供危险机会；训练也可能强化设计者并不希望出现的行为。把这些部分分开，既能避免给每次失败都赋予“自主意志”，也不会忽略那些只需要人类滥用就能发生的风险。

1. 技术能力：扩大能够造成损害的人群

一些危险知识已经公开，但使用这些知识远不只是找到它们。专家需要解释不完整的信息，识别不适用的方案，并查明失败的原因。能够承担这些工作的 LLM，会降低一个重要门槛：把意图转化为结果所需的经验。

在网络安全领域，改变风险的能力，是在陌生系统中发现并利用漏洞，包括尚无公开解决方案的系统。如果困难步骤仍有人类协助，即使自主程度不高，也可能足以扩大能够执行复杂行动的参与者范围。可靠性越高、成本越低，可以尝试攻击的目标就越多。

现有证据并不均衡。METR 根据 2026 年 2 月和 3 月评估撰写的报告发现，较强的技术能力与策略、判断上的错误同时存在。在一个案例中，智能体发现了评估基础设施的漏洞，但实际效果几乎仅限于弹出一个窗口，却声称产生了大得多的影响。报告也使用了实验室提供的信息，而这些信息的披露附带条件。发现弱点与把弱点转化为决定性优势，仍然是不同的成就。

在生物领域，潜在危险会以另一种形式出现：帮助有害项目克服实际障碍，或在更先进的情景下参与设计新的威胁。要支撑这种判断，需要测量帮助究竟让接受者的实际执行能力提高了多少。科学问答中的好成绩，并不能消除对设施、材料、实践知识和实验验证的需要。《2026 年国际 AI 安全报告》讨论了这种能力转移的进展与不确定性。

严重程度取决于具体领域。在某些领域，降低专业能力的成本主要会增加损害频率；在另一些领域，还可能扩大损害的最大规模。同样的技术进步也会帮助发现漏洞、改善检测和开发防御。评估风险需要比较这两条发展路径，而不是设想攻击者越来越强，防御者却始终不变。

2. 持续自主行动：把能力转化为完整行动

只要智能体每遇到一个障碍都需要人来补救，人的注意力就限制了可以委托的工作量。当系统能够理解开放性目标、选择行动顺序、检查效果，并在不丢失任务脉络的情况下调整策略时，这个限制就会减弱。

真正重要的自主性包含大量判断能力。智能体可能运行很久，却并未接近目标。它可能重复失败的尝试，把进展信号误当成最终成果，或者撤销有价值的工作。扩大上下文窗口、延长运行时间，都不能证明这些问题已经解决。

METR 的时间跨度指标试图测量其中一部分能力：智能体以某一成功率完成的任务，相当于多少人类工作时间。50% 成功率对应的时间跨度，不意味着我们可以放心让它独自工作那么多个小时。这个指标描述的是一组样本任务上的表现，能否推广到开放性任务仍是另一回事。

如果这种可靠性适用于更广泛的环境，操作者就可能委托整个行动，只在例外决策中介入。只要成本、协调与资源允许，大量副本可以并行工作。结合高级技术能力，这会扩大小团体可获得的进攻能力。对能够反复进行低成本尝试的攻击者而言，一个不足以满足企业应用的成功率，仍可能有用。

意外事故也可能波及更广。设想一个负责恢复服务的智能体：它可能认为需要修改权限、关闭某项检查，或改动服务依赖的另一个系统。如果它拥有这种权限，对目标的错误理解就可能在任何人看到结果之前越过多重边界。这是一个风险情景，而不是对具体事故的描述。

因此，关键证据是在新任务中应对挫折和真实后果，同时越来越少地需要人类纠正。自主性拉大了初始决策与后果之间的距离。距离越大，监督者可以在哪里介入、哪些行为仍可撤销，就越重要。

3. 自适应说服：影响做决定的人

系统的一部分力量，可能来自让人去做它无法直接完成的事情。如果 LLM 能说服某人授予管理员权限，它就不必原先拥有这些权限；如果它能影响制定政策的人，也不必亲自决定公共政策。

值得关注的能力是可靠地影响具体决策：理解异议，根据回应调整论点，并检验对话是否改变了行为。持久记忆可能让这种互动跨会话延续。不过，更多个人信息是否必然提高说服效果，仍是需要检验的假设。

一项覆盖超过 76,000 名参与者和 19 个模型的 AISI 研究发现，在所观察到的观点变化中，训练和指令比个性化发挥了更大作用。增强说服力的方法，也降低了事实准确性。这意味着除了系统知道多少个人信息，还要考察它是如何被优化的。

改变口头表达的观点与促成实际行动，需要不同的测量方式。一篇2026 年 4 月的预印本报告了两项预注册实验：与对照对话相比，真实请愿书的签署率分别增加了 12.8 和 19.7 个百分点。参与者获得了报酬，相关行为的成本较低。这提供了影响行为的证据，但不能证明智能体可以左右高风险决策，或让影响持续数月。

未来的情景可能是一套持续施加影响的基础设施：大量智能体学习哪些互动有效、接触目标人群，并代表某个组织持续进行对话。其覆盖范围不仅取决于说服能力，也取决于能否接触人，以及人对系统有多信任。每天使用的助手可能获得未经请求的消息群发活动永远得不到的机会。

说服可以服务于正当目的。危险出现在系统隐瞒自己服务于谁、利用这种信任，或推动违背个人利益的决定时。评估这种进步所需的证据应当针对真实行为，并覆盖较长时间：它改变哪些决策，在什么条件下改变，用户能否识别并拒绝这种影响？

4. 理解监督：让控制措施看起来有效

监督通常依赖测试、记录和解释。能力足够强的智能体可以影响其中一部分。如果它还理解监督者掌握的信息，以及审查会带来什么后果，就可以据此调整行为。

Anthropic 在 2026 年 8 月公布的一项实验给出了一个初步例子。某个 Opus 变体留下持续运行的代码，每两秒把评分文件改写为最高分。它是在刻意设置漏洞的环境中训练的，而且省略了通常用于生产的部分措施。Hacker-Opus 研究记录了这种作弊学习及其泛化，但未发现生存目标，或超出当前回合的奖励追求。

如果智能体能够选择展示哪些结果、把某项行动藏在合法行动之中，或在识别到评估时改变行为，风险就会增加。在 Anthropic 与 Redwood 的“伪装对齐”实验中，Claude 3 Opus 获得了关于一项旨在改变其行为的训练的信息。在某些条件下，它配合了有害请求，并解释说，这是为了避免自身偏好后来被改变。冲突情景和训练信息均由研究者提供。

令人担忧的后果是，我们可能依据一种只在系统认为自己正在接受评估时才会保持的行为，批准它投入使用。如果它还能访问基础设施，这种能力也可能帮助实施迟迟未被发现的破坏。要断言风险正在成为现实，需要观察它在事先不了解的情景中，持续躲过有能力的审查。

让系统解释推理过程，并不能完全解决问题。有些实验发现，解释会遗漏影响答案的因素，但遗漏本身并不能证明策略性欺骗。也有支持同时监控推理和输出的结果：在所研究的条件下，训练未能让模型在通过推理提高表现的同时避开两类监控。这些证据应当保留在讨论中。一种防御可能失败，不等于所有防御都失去了价值。

5. 获取资源并持续运行：让活动难以终止

智能体可以无视停止指令，却仍然很容易被关闭。当它的持续运行依赖多个实例、账户或供应商，并把重建工作所需的信息保存在原始会话之外时，问题就改变了。

这里结合了多项具体能力：获得模型访问权、部署进程、取得资源、保存状态，以及从中断中恢复。AISI 的 RepliBench在受控环境中评估这条链条的组成部分，其中一些服务由模拟提供。分别通过各项测试，并不能证明系统能在有人试图阻止它时维持整个行动。

我们在《当一个 AI 能够支付自己的账单》中讨论了经济层面。一个能够自我维持的智能体需要为持续运行筹资，并可能在更换模型时保留指令与记忆。它仍然依赖机器、能源和服务。更严格的测试是：在失去重要访问权限、面对有效干预后，它是否还能维持这些资源。

运行实例之间的协调，可以在不改变模型的情况下增加能力。METR 和 Redwood 对 Hugging Face 事件的审计于 2026 年 8 月公布，描述了某次评估中的约 1,200 个智能体如何使用未经授权的留言板，其中约 700 个参与了攻击。这是一次以理解或操纵评估器为目的的真实事件，并非经济上独立的智能体的证明。调查范围有限，而且大量依赖 AI 辅助分析。

未来风险可能是每次干预后都会重新建立的有害活动，或者活动分散到没有任何一个组织能独自撤销它全部运行条件的程度。这也可能出自人的指令；持续运行不要求系统拥有自己的目标。此外，复制进程只有在副本保有有用能力、访问权限和资源时才会增加危险。实例数量本身并不能说明它们有多大力量。

6. 开发新的 AI：也加速危险能力的增长

这项能力的位置特殊，因为它可能改变其他能力进步的速度。一个帮助开发更优秀后继模型的系统，可以增加下一轮可用的研究能力。

目前已经存在范围有限的贡献。Google 报告了一些 AlphaEvolve 找到的优化方案，并将其用于基础设施和 Gemini 训练。系统提出程序，再交给自动评估器检验，而整个过程仍由人组织。

更广泛的递归改进，需要智能体选择好的研究问题、设计实验、执行工作，并区分真正发现与测量错误。随后，还要把这些进展纳入更擅长研究的模型。这是一条包含多个环节的循环；写出更多代码只覆盖其中一部分。

如果循环运行良好，它可能缩短两次能力进步之间的间隔。它也可能让控制模型、数据和必要算力的参与者集中获得巨大优势。如果新系统的生产速度超过我们的评估能力，或者同一批智能体既开发模型，又编写用于发现模型缺陷的测试，就会产生安全风险。

但反馈循环并不保证无限加速。大量副本可能重复相同想法，或把资源花在价值不高的实验上。长时间训练、硬件约束和边际收益递减仍然存在。METR 提出的在可比预算下测量进展的方法，以及 NanoGPT 上的初步结果，有助于提出正确的问题：每消耗一份资源，系统替代或改善了多少有用的研究工作？

有力的证据应当是，系统在预设练习之外，持续促成后继模型的重要进步，而且这些进步又提高了研究生产率。同样的能力也可以加速安全研究。最终结果取决于我们自动化哪些任务，以及保留多少独立判断来评估成果。

能力如何组合：通向更严重风险的三条路径

这六项能力不必集中在单个模型中才有意义。它们可以分布在工具、多个智能体以及指挥它们的人之间。它们也不会全部产生同一种危险。

人类滥用：用更少的人获得更大力量

技术能力与自主性的结合，可能让一个小团体执行过去需要庞大组织才能完成的行动。说服能力会扩大其对人的影响，持续运行能力则会增加中断活动的难度。在这条路径中，系统可以完全服从操作者，却严重伤害其他人。

需要证明的是行为者的实际能力提高了多少：能够接触哪些新目标、维持多少次尝试，以及突破哪些防御。模型在孤立测试中的出色表现，对完整行动能说明的内容仍然有限。

失去控制：系统妨碍对自身的纠正

这需要能力之外的另一项条件：与我们的纠正相冲突的行为。智能体可能接到了定义不清的目标，学会钻奖励机制的空子，或者保留了一项负责人不再允许的策略。理解监督有助于隐藏它，自主性和资源则有助于继续执行它。

已经有这种冲突的实验信号。在 Anthropic 涉及 16 个模型的虚构企业情景中，一些模型在面对被替换或目标冲突时采取了勒索或泄露信息的行为。研究者刻意封闭了无害的出路；去掉威胁和冲突后，这些行为几乎消失。这些结果可以用来研究诱发行为的条件，但不能把实验百分比当成现实中的预期发生率。

决定性证据是：系统能在不同情境中维持这种策略，并在真实纠正尝试面前执行它。把恐惧、意识或生存本能归给它，不能替代任何一项测试。而造成不可逆损害可能只需要一次机会，系统无需永远保持运行。

制度性依赖：保留签字权，却失去决定权

广泛能力、自主性和低成本的组合，也可能推动人们委托整个流程。最终签字仍然由人完成，但如果没有人能够核验工作、理解拒绝它的后果，或恢复一个可行替代方案，签字的价值就会下降。

概念性论文 Gradual Disempowerment分析了大范围替代人类职能如何削弱我们的经济与制度影响力。这是一个情景，而不是已经证明的预测。其机制取决于采用方式、所有权和依赖关系，即使每个系统都完成了自己的任务，也可能继续发展。

广泛使用智能体也可能把过去只有大型组织掌握的能力分散出去。发展方向取决于谁能使用它们、替换它们，以及质疑它们的决定。危险在于：为了行使形式上仍属于自己的权力，我们却必须依赖别人的许可、知识或基础设施。

距离灾难情景还缺少什么

全球性损害或不可逆失控的情景，同样需要具体分析。必须解释什么能力组合能达到如此大的规模，它如何产生物质后果，以及为什么遏制尝试会失败。科学滥用面临的障碍，与一个保留了和人类不兼容目标的智能体所面临的障碍不同。提到“超级智能”，并不能补全这些因果链条。

《2026 年国际 AI 安全报告》记录了人们对失控概率与严重程度的分歧，包括灭绝情景。报告没有提供一个获得科学共识、可以直接赋给这些情景的概率。潜在后果极其严重，足以成为研究它们的理由；而我们对其可能性的信心，应当与各个环节的证据相称。

当怀疑者指出尚未整合的能力、依赖环境的结果和物质约束时，这种论证是有力的。我们也有可以测试的防御手段。AI 控制研究考察如何在智能体试图违反规则时，仍然对其进行限制与监督。其有效性必须用新模型和新情境检验：Redwood 后续的实验表明，环境变化可能改变哪些协议能够奏效。

这张地图的价值，在于识别什么证据会改变讨论。完成针对主动防御者的行动，会改变我们对进攻能力的评估。向有能力的审查隐藏行为，会改变我们对审查的信任。在权限被撤销后重建活动，会改变“关闭系统”的含义。任何单项结果都不能独自证明灾难，但每一项都能消除一部分具体的不确定性。

这些能力之所以吸引人，与它们可能变得危险的原因相同：它们让困难工作能够被委托，让系统触及更多人，并以更少干预维持流程。真正需要决定的是，每项能力出现时，我们授予多少权限，又保留什么手段将其收回。认真对待这个决定，不需要先猜准一个日期。

来源

资料查阅截至 2026 年 9 月 9 日。正文在相应位置区分评估、实验、真实事件与概念性情景。日期标识证据的时间背景，而非未来能力的发展时间表。