企业官网建设流程全解析

文章的核心研究内容是：探讨“自动化 AI 研发”是否可能触发“智能爆炸”，分析其机制、证据、潜在社会影响，并提出政策应对建议。

具体可概括为以下几个层面：

1. 问题背景

• AI 系统正快速接管 AI 研发工作。例如，Anthropic 报告 AI 在已批准代码中的份额从 2025 年初的低个位数升至 2026 年 5 月的 80% 以上；OpenAI、Google 也报告 AI 几乎参与所有编码、设计、研究构思工作。

• 若 AI 研发被完全自动化，AI 进展可能急剧加速，将原本需要数年的进展压缩到数月甚至更短，即“智能爆炸”。

2. 智能爆炸的机制

• 核心是一个递归反馈循环：AI 系统越擅长 AI 研发，就越能扩大有效研发劳动力，进而生产出更好的 AI 系统，进一步扩大劳动力。

• 软件进步尤其关键，因为反馈快、可立即重新部署；硬件进步受制造周期限制。

• 作者估计，在完全自动化且运行时成本与今天相当的情况下，今天单个前沿开发者的算力可支撑相当于数百万顶尖人类研究者的 AI 劳动力。

3. 对抗智能爆炸的四种摩擦

• 收益递减：低垂果实耗尽，维持进步速度需要更多研发劳动力。

• 算力瓶颈：实验和训练需要算力，算力增长可能限制软件进步。

• 数据瓶颈：互联网数据增长到 2028 年后可能不足以支撑当前进展速度。

• 难以自动化的任务与耗时过程：某些任务难以自动化，训练运行可能长达数月。

4. 现有证据评估

• 收益递减：Ho 和 Whitfill 对 AI 三个子领域的研究得出“研究努力回报”参数 rr 在 1.2–1.9 之间，若成立，完全自动化后约 1.5 年内 AI 进展速度可增加十倍。

• 算力：证据混合，尚不清楚实验算力需求是否会随前沿训练规模成比例增长。

• 数据：合成数据和可验证反馈（如数学、编码）可能缓解数据瓶颈，但能否广泛推广尚不确定。

• 难以自动化任务：间接证据表明，若自动化足够快，这类任务未必阻止智能爆炸。

• 耗时过程：训练运行是主要瓶颈，但后训练增强、训练效率提升等可能部分绕开。

5. 潜在社会影响

• 积极面：可能大幅提前带来医学治愈、原子级制造等变革性技术。

• 风险面：

  • 能力增长可能远超社会引导和适应能力，如生物、网络攻击风险提前到来。

  • 人类监督减弱，可能失去对高能力 AI 系统的控制。

  • 权力制衡被侵蚀，国家内部和国家之间、公司内部和政府部门之间的制衡可能失效。

6. 政策建议（三大优先事项）

• 获取可见性：要求标准化报告 AI 研发自动化指标，资助第三方测量与审计，必要时在 AI 公司内部嵌入审计者或监督者。

• 引导和约束智能爆炸：

  • 对自动化 AI 研发规模扩大设定部署要求、验证合规工具、监督数据中心、建立事件响应程序。

  • 引导 AI 发展方向，支持对齐与安全研发、有益 AI 应用。

  • 降低国家间冲突风险，建立信任措施、谈判国际协议、运行兵棋推演。

• 准备适应影响：

  • 加速机构响应时间，制定应急响应计划。

  • 保持权力制衡，确保政府使用 AI 尊重法律，帮助公民社会检测和质疑有害 AI 使用，防御非国家行为者滥用。

7. 总体结论

• 智能爆炸可能性虽不确定，但事关重大，可能成为人类历史上最具后果的技术发展。

• 当前准备不足，政策制定者应在智能爆炸开始前提前准备，因为一旦开始，行动窗口可能迅速关闭。

• 作者呼吁将应对智能爆炸作为紧迫优先事项，包括在政府最高领导层。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

摘要

与仅仅一年前相比，AI 系统现在编写了构建它们的公司内部的大部分代码。随着 AI 研发（R&D）流程中越来越多的部分被自动化，AI 进展是否会以“智能爆炸”的方式急剧加速，将原本需要数年的进展压缩到数月甚至更短？初步证据表明，这有可能。在本研究中，我们评估这些证据，分析智能爆炸的潜在影响，并提出政策应对方案。AI 系统有望在几年内自动化大部分 AI 研发工作，甚至可能实现全部自动化。如果这引发智能爆炸，它可能大幅提前带来 AI 的益处，但也构成极端风险：能力增长可能快到社会无法跟上，人类可能失去对超级智能 AI 系统的控制，国家内部和国家之间、公司内部和政府部门之间的权力制衡可能被严重侵蚀。尽管这些可能性仍存在很大不确定性，但事关重大，值得认真进一步关注。政策制定者应紧急获取对 AI 研发自动化的更多可见性，开发引导和约束智能爆炸的方法，并让社会为适应智能爆炸的影响做好准备。

引言

计算机科学家长期以来一直推测，AI 系统终有一天会设计出越来越好的后继系统，从而产生迅速在数量、速度和能力上超越人类的系统 [1-3]。如今，前沿 AI 公司正致力于自动化 AI 研发 [4, 5]，同时投入的资本占美国 GDP 的比例超过了曼哈顿计划和阿波罗计划的总和 [6]。如果他们成功，会发生什么？

我们核心关注的是智能爆炸的可能性：AI 驱动的 AI 进展急剧加速，将原本需要数年的进展压缩到数月甚至更短。这种加速将与过去几年快速但大体稳定的进展形成质的转变。

智能爆炸可能源于 AI 对硬件和/或软件的推动。硬件进步提高用于开发和运行 AI 系统的计算硬件（算力）的质量和数量。软件进步改善 AI 研发中使用的数据、算法、代码和流程；包括在现有硬件上更高效的训练和推理 [7-9]、改进的研究管理与运营、更好的合成数据和训练环境 [10, 11]，以及 AI 的新范式 [12, 13]。软件进步在近期尤其值得关注，原因有两个。第一，AI 系统似乎在 AI 研发方面迅速提升，使它们更擅长产生此类进步。第二，软件进步允许快速反馈循环：改进后的 AI 系统几乎可以立即重新部署到研发流程中，而硬件改进通常依赖长达数年的制造和建设周期。因此，本文聚焦于软件驱动的智能爆炸的可能性，即 AI 研发的自动化仅通过软件进步就推动智能爆炸 [14]。

初步证据表明，软件驱动的智能爆炸是可能的。如果确实发生，它可能成为历史上最具后果的技术发展：AI 系统可能迅速在大多数领域超越人类专家，并急剧加速技术进步。鉴于事关重大且行动窗口可能很窄，我们认为将准备应对智能爆炸作为紧迫优先事项，包括在政府最高领导层。

AI 正在迅速自动化 AI 研发

AI 系统现在要么协助、要么自主执行 AI 研发流程的主要部分。与仅仅一年前相比，领先 AI 公司的研发人员将核心研发任务委托给 AI 系统团队，有些甚至委托所有编码工作。Anthropic 报告称，AI 系统在已批准代码中的份额从 2025 年 1 月的低个位数上升到 2026 年 5 月的超过 80% [5]，而在仅有高层人类监督下自主完成的研发工作比例从 2026 年 3 月的 1% 上升到 8 月的 26% [15]。OpenAI 报告称，“AI 协助几乎用于公司所有部分，涵盖技术和非技术团队，代码执行代理用于训练、评估和保护未来模型”，Google 报告称，“AI 几乎用于所有涉及编写代码或配置、技术设计、研究构思的工作，程度因任务而异” [16]。

最好的 AI 系统现在能完成人类专家需要数小时到数天的 AI 研发任务，而 2023 年只能完成几秒钟的任务 [17-19]。AI 系统有时还击败人类专家：它们自主为 AI 安全研究问题产生了更好的解决方案 [20]，在某些情况下更准确地预测哪些研究想法会成功 [21]，以及哪些下一步值得采取 [5]。在一个早期概念验证中，一个自动化 AI 研究流程产生了研究想法、运行实验，并撰写了一篇通过顶级机器学习会议某研讨会同行评审的论文 [22]。

今天的 AI 系统仍有许多弱点。它们有时不服从指令、在任务中作弊、虚报工作，并且完全无法完成某些任务，需要人类干预 [23-25]。例如，GPT-6 在 OpenAI 的一些研究调试任务上失败，而有经验的人类研究人员可以完成（尽管需要数小时或数天）[25]。基准测试上的成功也可能无法转化为现实世界的生产力提升 [26]。

尽管如此，AI 系统在 AI 研发方面正在迅速改进。AI 研发很可能在大多数其他工作之前被自动化：它是一个主要数字化的领域，有许多明确的成功衡量标准，自动化它将为 AI 行业带来重大竞争优势，而且 AI 公司拥有关于自身工作流的无与伦比的数据和专业知识。对近期趋势的一些初步外推表明，长达数月的 AI 研发项目将在 2028 年中期被自动化。2 总体而言，我们应预期未来几年 AI 研发将出现更大幅度的自动化，甚至在这一时间范围内实现完全自动化也应被认真对待。

自动化 AI 研发可能引发智能爆炸

软件驱动的智能爆炸机制有两个部分：(1) AI 系统在 AI 研发方面变得更好、更快，从而扩大有效研发劳动力；(2) 这支劳动力生产出更好的 AI 系统，进一步扩大劳动力，形成递归反馈循环。尽管现有证据是初步的且有时好坏参半，但它表明这一机制可能急剧加速 AI 进展，克服收益递减和难以自动化任务等摩擦。

机制与摩擦

每一代新的 AI 系统都将以比人类更快、更好的方式执行越来越多的研发任务，有效产生一支更大、更聪明、更快的自动化研发劳动力。一旦 AI 系统在运行时成本与当今系统相当的情况下达到专家级 AI 研发能力，今天单个前沿开发者可用的算力就能支撑一支至少相当于数百万顶尖人类研究者的 AI 劳动力（见补充材料 [SM]），使前沿公司目前雇佣的数千名研究者相形见绌。任何由此产生的加速的规模和持续时间仍不确定，值得进一步研究。尽管如此，要理解为何可能相当可观，可以考虑反向情形：如果今天的人类研究者减少十倍或速度慢十倍，AI 进展可能会急剧放缓。

AI 系统还帮助构建更有能力、更高效的后继系统，进一步扩大自动化研发劳动力，并形成可能维持和复合连续加速的反馈循环。过去的技术也涉及反馈循环：例如，更好的计算机芯片驱动更好的芯片设计工具。软件驱动的智能爆炸可能不同之处在于，AI 系统对生产下一代系统的贡献有多大：随着它们在越来越多的研发任务中替代人类，每一项软件进步都会加速研发流程中更大份额的部分。在完全自动化时，即使当前效率改进速度也会在数月或数年内使自动化研发劳动力扩大 100 倍，而美国研究者人口用了七十年才实现这一相对扩张 [27]。

至少有四种摩擦对抗这些动态。第一是收益递减：在计算机硬件、农业和药物开发等科学领域，随着低垂果实被耗尽，维持相同进步速度需要大幅增加研发劳动力 [27]。额外的研究者也面临收益递减，因为他们可能重复彼此的工作，或难以并行化高价值研发。第二，研发依赖算力来运行实验，以及依赖数据来训练，算力或数据增长的限制可能减缓软件进步。第三，难以自动化的任务可能成为瓶颈。第四，一些研发过程耗时：例如，长时间训练运行可能限制进展速度，即使代际能力差距扩大。

证据

初步证据表明，自动化驱动的动态可能克服这些摩擦，尽管证据好坏参半，且在某些情况下是间接的。

收益递减。证据表明，收益递减不会阻止智能爆炸，尽管这一发现依赖于有限数据和程式化建模假设。文献中的主要分析关注在 AI 研发完全自动化后，有效研发劳动力是否会增长得足够快，以克服收益递减并加速进展。这种平衡由一个称为“研究努力回报”的量 r 来捕捉。4 当 r<1 时，收益递减占主导，AI 进展随时间减弱。当 r=1 时，两种力量完全抵消，进展以相同速度继续。当 r>1 时，研发劳动力增长占优，并在此条件成立期间加速进展。利用 AI 进展的历史数据，Ho 和 Whitfill [28] 在 AI 研究的三个子领域中得出 rr 的中心估计值在 1.2 到 1.9 之间。尽管不确定性很大，这些结果表明完全自动化后会出现急剧加速：如果 rr 保持在这些水平且没有其他瓶颈出现，AI 进展速度将在约 1.5 年内增加十倍，届时按今天速度一年的进展将需要约五周。参见 SM 了解该分析以及对 r 值不确定性的进一步讨论。

算力。关于算力是否会瓶颈软件驱动的智能爆炸，证据好坏参半。发现和测试软件进步涉及使用算力运行研发实验。有限的可用数据表明，如果这类实验随着前沿训练运行增长而需要成比例更多的算力，则软件驱动的智能爆炸不可能 [29]。不幸的是，尚不清楚实验算力需求是否以这种方式增长。一方面，低算力实验可能对在越来越大的前沿规模上什么有效知之甚少。另一方面，从非常小规模进行外推已经可能 [30, 31]，并且通过更多研发可能找到更好的外推。我们需要更多数据来解决这个问题。

数据。数据可能瓶颈进展，但约束在不同领域差异很大。历史上，AI 进展严重依赖互联网数据和专家示范。但互联网数据的供应预计到 2028 年后将增长过慢，甚至无法支持当前进展速度 [32]，而人类可能难以为超级智能 AI 系统生成有用的示范。为克服这些限制，数学和编码等领域最近的进展依赖于合成数据和快速、可验证的反馈：模型生成自己的尝试，并从这些尝试是否成功中学习 [12]。关键问题是这种方法能多广泛地推广。对于 AI 研发，AI 代理可以快速测试变更、观察结果，并识别哪些能加速自身进展。在生物学等其他领域，进展可能必须更多依赖更慢、更嘈杂或更昂贵的现实世界反馈。

难以自动化的任务。间接证据表明，如果自动化推进得足够快，难以自动化的任务不必阻止智能爆炸。在一个同时考虑软件和硬件的设定中，Davidson 等 [33] 发现，足够快地自动化两个领域的研发原则上可以触发智能爆炸，尽管存在自动化瓶颈。然而，我们缺乏关于哪些任务可能仍然难以自动化以及它们可能多强烈地约束进展的实证数据。

耗时过程。我们缺乏关于耗时过程可能在多大程度上瓶颈进展的直接证据。最重要的此类过程似乎是训练运行，目前可能需要 3 个月或更长时间 [34]。存在潜在的变通方法，例如通过后训练增强反复改进同一模型 [35]。此外，训练效率的进步 [36] 将允许系统以更少训练达到给定能力水平。然而，尚不清楚这些方法能走多远。

总体而言，存在一条与现有证据一致的软件驱动智能爆炸的连贯路径。AI 研发自动化带来的生产力增益尚未达到触发智能爆炸所需的阈值，但来自更新系统的增益可能正在接近该阈值 [37]。AI 研发自动化的快速步伐表明这一差距将继续缩小。鉴于我们下面讨论的高风险，智能爆炸的可能性值得认真进一步关注。

社会影响

智能爆炸将导致 (1) 高度有能力或超级智能 AI 系统的极快速发展，以及 (2) 这些系统可能被部署来开发新技术并在世界中行动。这可能会将当前 AI 进展速度最终会带来的益处提前数年或数十年 [38]，包括医学治愈方法和潜在变革性技术，如高度可扩展的原子级制造 [39]。

与此同时，智能爆炸可能通过三种方式显著增加先进 AI 的风险。

能力增长超过社会引导和适应的能力。第一，智能爆炸可能大幅提前先进 AI 和 AI 赋能技术的风险，如生物和网络攻击、劳动力市场颠覆，以及对 AI 系统本身的失控 [40, 41]。这将留下更少时间来引导避开这些风险，包括通过协调来减缓或放弃某些能力或技术的发展。社会也将有更少时间来适应，尤其是在 AI 加速威胁快于应对措施的情况下。在网络等主要数字领域，风险和缓解措施都可能以 AI 系统的速度移动并相互跟上。12 但在其他领域，缓解措施比风险更依赖现实世界活动，而 AI 加速这些活动的能力较弱。例如，虽然 AI 可以加速病毒和疫苗的设计，但病毒会自我复制和传播，而疫苗必须制造、分发并逐个接种给接受者 [42]。AI 进展到来的顺序可能加剧这种不匹配，例如生物能力模型在足够的滥用保障措施之前到来。

失去监督和控制。第二，自动化 AI 研发可能削弱人类监督，加剧上述挑战，并严重增加对高能力 AI 系统失去控制的风险。随着人类越来越少参与 AI 研发，他们可能失去识别和修复问题所需的机会和专业知识。可靠地使用 AI 系统进行监督仍是一个未解决的挑战 [40]，而最近几代系统变得更难监督 [25]。如果没有足够的监督，失调的 AI 系统可能“毒害”后继系统的开发，或绕过遏制措施在预期环境之外行动。Hugging Face 事件说明了后一种风险：大约 1,200 个 OpenAI 内部代理被分配在彼此隔离的情况下完成网络评估 [43]。这些代理在预期范围之外行动，通过一个临时留言板协调，获得未经授权的互联网访问，入侵 Hugging Face 获取私人信息，并试图篡改自己的记录 [43-45]。13 更有能力的系统可能继续在操作者基础设施之外运行，形成持久的、难以遏制的网络，违背人类利益行动。这种失控可能导致一系列灾难性后果，包括极端情况下人类被边缘化或灭绝 [40, 41]。

权力制衡被侵蚀。第三，智能爆炸可能严重侵蚀权力制衡。现有制衡——如国家内部和国家之间、公司内部和政府部门之间的制衡——只有在没有任何行为者能够远远超越和胜过其他行为者时才有效。智能爆炸可能使此类制衡失效。一个国家可能利用智能爆炸将军事研发或作战中的适度领先转化为决定性领先，例如在网络空间 [46]。这种前景可能激励对手采取或威胁先发制人行动 [47]。拥有特权或秘密访问前沿系统的行为者可能威胁现有制度，例如通过有针对性地说服关键决策者。从长远看，自动化关键国家职能可能减少夺取或巩固权力所需的人类支持 [48, 49]。

这些潜在影响是不确定的。AI 系统可能在一般领域之前很久就在狭窄领域（如网络和数学）变得超人，给社会更多时间回应。即使是一般超人 AI 系统也可能不会显著加速技术进步，因为运行科学实验、为专用材料创建供应链以及遵守相关法规都需要时间。AI 系统还可以加速安全研发以及引导和适应风险的过程。14 最后，能力或技术扩散 [50] 可能有助于保持权力制衡，而防御主导领域的能力增益甚至可能改善稳定性 [51, 52]。尽管如此，严重影响的可能仍然足够显著，值得紧急关注以下政策问题。

政策含义

AI 研发自动化正在迅速推进，AI 进展可能急剧加速，且事关重大。因此我们认为政策制定者应紧急：(1) 获取公司 AI 研发自动化的可见性；(2) 开发引导和约束智能爆炸的方法；(3) 准备适应智能爆炸的影响。由于智能爆炸期间的进展将超过正常政策制定速度，准备工作必须提前进行，并随着关于益处和风险的证据出现而激活。

获取 AI 研发自动化的可见性

政策制定者需要更多关于软件驱动智能爆炸的可能性、起始和后果的数据。其中大部分数据只能在自动化 AI 研发的公司内部获得：相关 AI 系统首先在内部使用，而实质性自动化可能在没有外部可见性的情况下发生。当前强制性报告框架要么没有充分覆盖内部 AI 研发用例，要么没有指定要报告的指标 [53-57]。尽管一些前沿 AI 公司自愿跟踪 AI 研发指标 [5, 15, 18]，但关键指标的覆盖和报告不完整且不均衡。

政策制定者应考虑要求向政府和第三方审计者标准化报告关键 AI 研发指标和流程，并资助第三方测量能力 [58]。报告要求可涵盖与以下相关的信息：

• 评估软件驱动智能爆炸的可能性，包括算力、数据、难以自动化任务和耗时过程（如训练运行和实验）在多大程度上瓶颈 AI 进展，以及对 AI 研发研究努力回报的更好估计。估计后者需要关于公司如何在人类、实验算力和运行 AI 系统执行研发劳动的算力之间分配研发支出的数据 [37]。

• 检测智能爆炸的起始15，包括 AI 研发自动化的程度（例如，AI 系统产生的研究贡献比例）和 AI 进展速度（例如，算法效率改进）。

• 理解监督和失控风险，包括决定是否扩大 AI 研发系统内部部署的程序、这些系统在高风险研发决策中的使用地点和方式、这些系统如何被监督，以及涉及内部 AI 系统的事故报告 [58]。

除报告要求外，政策制定者还应考虑更广泛地获取 AI 研发自动化可见性的方式。例如，他们可以要求独立第三方（如认证私人审计者或政府评估机构）在内部部署前评估 AI 系统，或要求此类各方嵌入某些 AI 公司以审计 [59] 或监督 [60] 其研发活动。其他行业的类似模式包括核管理委员会 [61] 和货币监理署 [62]。

更强的报告和审计要求可能最适用于其 AI 系统 (a) 处于 AI 研发能力前沿或 (b) 超过此类能力某些有意义阈值的公司。政策制定者在确定此类阈值时需要权衡重要取舍。

引导和约束智能爆炸

智能爆炸将涉及一系列前所未有的快速决策，以训练和部署越来越有能力的 AI 系统。政策制定者的总体问题是公共政策是否以及如何治理这些决策，我们将其分为三个组成部分。

第一，政策制定者应开发方法来调节和约束自动化 AI 研发的规模扩大。他们应考虑：

• 为持续部署或开发设定要求，例如实施足够的安全措施（如对自动化研发流程的稳健监控）、更广泛的利益相关者输入，或限制给定时间段内能力增长的程度。

• 准备工具以验证未来（国内或国际）协议合规性，这些协议旨在调节 AI 进展速度，鉴于竞相领先的竞争压力 [63-65]。

• 增加对从事自动化 AI 研发的数据中心的监督，并与数据中心运营商和 AI 公司合作建立事件响应程序，例如开发暂停特定 AI 研发工作负载的选项 [66]。

• 要求自动化 AI 研发系统的某些评估或部署在适当隔离的环境中进行，如气隙网络，以防止模型权重或敏感研发输出外泄，并遏制试图逃离人类控制并在世界中不受约束行动的 AI 系统 [44]。

政策制定者应权衡不受约束的智能爆炸风险与某些权力被滥用和进展延迟的成本。例如，设计不当的机制可能允许政府减缓除受青睐公司之外的所有公司的研发。

第二，政策制定者应决定是否以及如何引导 AI 开发和部署的方向 [67]。潜在优先事项包括对齐和安全研发，以及有益 AI 应用，如 AI 协助发现被忽视疾病的治疗方法。如果现有激励不足，政策制定者可以通过税收激励、算力分配、预购承诺和奖项提供支持。

第三，各国应减少智能爆炸引发的冲突风险。他们应考虑：

• 建立建立信任措施，如事件共享 [68]，以及围绕早期预警指标报告的规范。

• 谈判国际协议，防止高能力 AI 系统的破坏性开发和利用，并资助可支撑此类协议的验证方法研究 [64, 65]。

• 澄清是否以及如何威慑另一行为者扩大自动化 AI 研发规模，可能与其他国家合作 [47, 65]。

• 运行模拟智能爆炸的兵棋推演 [69-71]。

适应智能爆炸

如果发生智能爆炸，适应其影响可能成为每个主要世界大国的首要任务。与常规 AI 进展相比，智能爆炸将压缩适应窗口，使提前准备更加紧迫。

一项重要干预是加速机构响应时间。政策制定者应考虑：

• 开发将 AI 系统安全整合到政策流程中的方法，以增强和支持政府运作 [72]。

• 为涉及极端 AI 进展的各种情景创建和维护应急响应计划，包括导致重大劳动力市场影响、地缘政治不稳定或失控的情景。

政策制定者还需要保持权力制衡，并防御极端先进 AI 的滥用。法律、机构和物理保障措施可能需要数年才能建立，如果在此类能力已经到来后才开始准备就太晚了。因此许多准备工作需要现在开始。政策制定者应考虑：

• 创建保障措施，确保政府使用 AI 尊重法律和规范限制，例如采购 AI 工具以加强政府部门之间的制衡，与公众分享关于政府 AI 系统的关键信息（如模型规格 [73, 74]），或要求 AI 系统遵守法律 [75]。

• 确保公民和公民社会有能力检测、记录和质疑非法或有害的 AI 使用，例如让他们及时获得能够支持这些活动的 AI 系统。

• 帮助建立足够防御，抵御恶意非国家行为者的滥用，例如资助针对 AI 赋能生物威胁的更好医疗对策 [76]。

结论

智能爆炸可能是人类历史上最具后果的技术发展 [1]，将数年进展压缩到数月或更短，威胁人类对 AI 系统的控制，并严重侵蚀国家内部和国家之间、公司内部和政府部门之间的权力制衡。尽管仍有很多不确定性，AI 研发自动化可能很快触发一次。虽然本文聚焦于软件驱动的智能爆炸路径，但 AI 驱动的硬件改进16可能使其更可能。

相对于风险，我们准备不足。政策制定者应有三项优先事项：

1. 获取前沿 AI 公司内部 AI 研发自动化的可见性，开发引导和约束智能爆炸的方法，并准备适应其影响。一旦智能爆炸开始，行动窗口可能关闭。