The Precipice

1. 人类正处于历史的关键时刻，面临前所未有的生存风险

如果一切顺利，人类历史才刚刚开始。人类大约有二十万年的历史。但地球将继续适宜居住数亿年——足够未来的数百万代人生活；足够消除疾病、贫困和不公正；足够创造出今天难以想象的繁荣。

前所未有的力量与危险。 在人类历史的进程中，我们的物种取得了显著的进步，从小型的狩猎采集群体发展到全球性的、技术先进的文明。这一轨迹在近几个世纪急剧加速，带来了健康、繁荣和知识的巨大进步。然而，我们日益增长的力量也带来了新的生存风险——可能永久摧毁人类潜力的威胁。

关键的转折点。 我们现在处于历史上一个独特而危险的时刻。首次，我们有能力通过核战争、人工制造的流行病或其他技术自我毁灭。然而，我们也有可能确保一个极其光明的未来，遍布宇宙并繁荣数十亿年。我们在未来几十年内做出的选择可能决定我们走哪条路。

赌注是天文数字。 如果我们成功应对当前的风险，人类可能拥有一个极其长久和繁荣的未来。我们可以扩展到其他星球，结束稀缺，实现远超我们当前想象的繁荣。但如果我们失败了，我们可能会切断整个未来——数万亿本可以生活的生命，以及永远不会实现的宇宙级成就。因此，我们这一代肩负着巨大的责任。

2. 自然风险相较于我们自己创造的人为威胁微不足道

尽管仍然存在真实的风险，但经过详细研究，发现其几乎可以忽略不计。这是一个著名的风险，但很小。如果人类在下个世纪灭绝，几乎肯定不是因为小行星或彗星撞击。

自然风险很小。 通过仔细研究，科学家们确定人类因自然原因灭绝的风险，如小行星撞击、超级火山爆发或恒星爆炸，非常低——每世纪可能不到0.1%。虽然这些事件可能造成重大区域性破坏，但我们全球的存在和技术能力使人类对这些威胁相当有韧性。

人为风险占主导地位。 现在真正显著的生存风险来自我们自己的行为和创造。核武器、气候变化、人工制造的流行病和人工智能都对人类的长期生存和繁荣构成更大的威胁。与自然风险不同，这些人为风险随着我们技术力量的增长而增加。

我们掌控自己的命运。 从主要是自然风险转变为主要是人为风险实际上是谨慎乐观的原因。虽然我们对防止超级火山爆发无能为力，但我们对强大技术的发展和使用有更多的控制权。我们的命运很大程度上掌握在我们自己手中——如果我们能学会负责任地运用我们日益增长的力量。

3. 核武器和气候变化构成显著但可控的生存风险

一场战争将留下一个持续数百年的黑暗时代，幸存者最终可以重建文明，恢复到以前的高度；谦卑、伤痕累累——但未被击败。

核冬天是关键威胁。 虽然核战争的直接影响将是毁灭性的，但更大的生存风险来自可能的核冬天。燃烧城市中的火风暴可能将足够的烟尘抛入大气层，阻挡阳光数年，导致全球变冷和作物失败，可能导致大规模饥荒。然而，这种情况下人类灭绝的可能性似乎不大。

气候风险不确定。 气候变化的生存风险不太明确，但在最坏的情况下可能非常严重。虽然当前的变暖预测不太可能直接导致人类灭绝，但更极端的变暖可能会引发连锁反应或将我们推向危险的临界点。关键的不确定性在于潜在的反馈循环和超过6°C变暖的影响。

两者都需要全球行动。 应对这些风险需要国际合作，减少核武库，将武器从紧急警戒状态中移除，并迅速过渡到清洁能源。虽然具有挑战性，但如果公众和政策制定者优先考虑这些问题，这些目标是可以实现的。与未来的风险相比，核战争和气候变化是相对容易理解和可控的威胁。

4. 未来来自人工制造的流行病和人工智能的风险可能是灾难性的

人类缺乏避免不可恢复错误的成熟度、协调和远见。随着我们的力量与智慧之间的差距扩大，我们的未来面临着越来越高的风险。

人工制造的流行病。 生物技术的进步可能很快允许创造出比自然界中任何病原体更致命的病原体。一种结合了埃博拉病毒的致命性和流感的传染性的人工制造的流行病可能导致数十亿人死亡。与自然流行病不同，人工制造的流行病可以被优化以达到最大致命性和传播性。

人工通用智能（AGI）。 AGI——具有与人类相当的通用智能的AI系统的发展——可能对人类是一个巨大的福音。但它也可能构成最大的生存风险。一个与人类价值观不完全一致的AGI系统可能迅速变得极其强大，并追求对人类有害的目标，甚至可能导致我们的灭绝。

前所未有的挑战。 这些新兴风险尤其危险，因为我们在管理它们方面没有历史经验。它们需要在威胁完全显现之前进行前瞻性和协调的全球行动。我们的治理系统和道德智慧尚未达到可靠应对这些挑战的水平。

5. 尽管生存风险至关重要，但却被严重忽视

人类每年在冰淇淋上的花费超过了确保我们开发的技术不会毁灭我们的花费。

规模巨大，关注甚少。 尽管涉及的赌注是天文数字，生存风险却出奇地少受到关注和资源投入。全球每年在减少生存风险上的花费可能不到10亿美元——远低于我们在其他全球优先事项上的花费，也低于我们在冰淇淋上的花费。

结构性忽视。 有几个因素导致了这种忽视：

• 范围不敏感：我们难以在情感上理解数百万和数十亿生命之间的差异
• 激励问题：减少生存风险的好处大部分归于未来几代人，他们无法回报我们
• 前所未有的性质：许多风险没有历史先例，使它们容易被忽视

扭转忽视。 增加对生存风险的关注是我们能做的最有影响力的事情之一。即使是对这些问题投入的资源略有增加，也可能对人类的长期未来产生巨大的积极影响。

6. 保障人类的长期潜力需要全球合作和制度变革

为了应对这些挑战并确保我们的未来，我们必须立即行动：管理今天的风险，避免明天的风险，并成为一个永远不会对自己构成这种风险的社会。

全球挑战需要全球解决方案。 许多生存风险，如气候变化或不一致的AI，影响全人类，需要协调的全球行动来应对。我们需要发展新的国际机构，专注于长期风险和未来几代人。

需要制度创新。 一些有前景的想法包括：

• 一个专注于减少生存风险的联合国机构
• 在治理结构中包括未来几代人的代表
• 将鲁莽危害人类作为国际犯罪
• 改善民主机构处理长期、低概率风险的能力

需要文化转变。 除了制度变革，我们还需要文化转变，认真对待这些风险并以更长的时间尺度思考。我们必须培养耐心、谨慎和全球合作的文明美德。

7. 如果我们能应对当前的风险，我们的潜在未来在规模、持续时间和质量上都是巨大的

如果我们能到达其他星星，那么整个银河系将向我们开放。仅银河系就包含超过1000亿颗恒星，其中一些将持续数万亿年，大大延长我们的潜在寿命。

宇宙时间尺度。 如果我们避免生存灾难，人类可能存活数亿年甚至数十亿年。我们可以超越地球，当我们的当前家园在遥远的未来变得不适宜居住时，扩展到其他星球和恒星系统。

银河潜力。 我们的银河系包含数千亿颗恒星，许多恒星可能有适宜居住的行星。如果我们发展出星际旅行的能力，我们可以遍布整个银河系，利用无数世界和恒星系统的资源。

繁荣的高度。 鉴于如此巨大的时间尺度和资源，我们可以实现令人难以置信的成就：

• 结束各种稀缺，消除贫困和需求
• 发展远超我们当前想象的技术
• 创造新的艺术形式和体验模式
• 深入理解现实的基本性质
• 实现远超我们当前巅峰的福祉和繁荣

8. 保护人类的长期潜力是我们这一代的定义性挑战

我们需要获得这种智慧；进行这种道德革命。因为我们无法从灭绝中恢复，我们不能等到威胁来临才采取行动——我们必须主动出击。而且因为获得智慧或开始道德革命需要时间，我们需要现在就开始。

关键时刻。 我们这一代人生活在可能是人类历史上最重要的时刻。我们在未来几十年内的行动可能决定人类是实现其巨大潜力还是屈服于生存灾难。我们肩负着深远的责任。

我们时代的伟大项目。 减少生存风险应该是人类的首要任务之一。这包括：

• 直接应对气候变化、核战争、人工制造的流行病和AI一致性等具体风险
• 提高我们全球预测和应对新威胁的能力
• 发展管理强大新技术的智慧和制度结构
• 传播对人类长期未来的关注

行动号召。 尽管挑战巨大，但有理由谨慎乐观。如果我们认真对待这些风险，我们有能力应对。每个人都可以做出贡献，无论是通过职业选择、捐赠，还是仅仅传播对这些问题的关注。我们的后代可能会记住我们是保护了人类巨大潜力的一代。

Last updated: August 15, 2024