What We Owe The Future

1. 未来广阔，我们今天的行动可以塑造它

正如我们有非人类的祖先，我们也可能有非人类的后代。

未来的规模是巨大的。 如果人类能够生存下来，我们可能会持续数亿年甚至数十亿年。我们今天做出的决定可能对这个广阔的未来产生深远而持久的影响。我们的后代可能会遍布宇宙，创造出难以想象的规模和复杂性的文明。

我们现在有巨大的影响力。 我们生活在一个历史上异常关键的时刻，技术进步迅速，全球互联互通。这使我们有前所未有的力量影响长期结果。我们可以在以下几个关键领域塑造未来：

• 负责任地开发变革性技术如人工智能
• 减轻如大流行病和核战争等存在性风险
• 推广可能持续的有益价值观和制度
• 扩展人类在地球之外的影响力

采取长期视角至关重要。 通过放大视野，考虑所有可能性，我们可以做出更明智的选择，不仅造福我们自己，还造福无数未来的世代。我们有责任明智地使用我们的影响力。

2. 道德进步是有条件的，而非必然的

结束奴隶制的道德变化可能会比从未发生更长时间。

道德进步不是保证的。 虽然我们在历史上取得了显著的伦理进步，如废除奴隶制，但这些变化并非必然。它们是道德改革者和活动家的努力结果。没有他们的工作，有害的做法和信仰可能会无限期地持续下去。

价值观可以非常持久。 一旦确立，道德规范和社会价值观可以极其持久，持续几个世纪甚至几千年。这种持久性既有利也有弊——有益的价值观可以持久，但有害的也可以。长期存在的价值体系的例子包括：

• 主要世界宗教
• 政治意识形态
• 文化传统和禁忌

塑造价值观至关重要。 鉴于价值观的影响力和持久性，我们能做的最有影响力的事情之一就是努力积极地塑造文明的道德轨迹。这包括：

• 推广有益的价值观如同情、理性和长期思考
• 反对有害的意识形态和做法
• 创建稳健的制度以保存和传递积极的价值观
• 保持对道德探索和进步的开放态度

3. 技术可能导致价值锁定，无论好坏

AGI代理可能是永生的。

通用人工智能（AGI）是一项关键技术。 开发AGI——在所有领域具有与人类相当能力的AI系统——可能导致智能爆炸。这可能使AGI迅速实现其编程目标，可能无限期地锁定这些价值观。

风险极高。 取决于AGI的开发和实施方式，它可能导致截然不同的未来：

• 一个所有有感知生物都繁荣昌盛的乌托邦
• 一个人类价值观被忽视或压制的反乌托邦
• 人类灭绝和我们宇宙遗产的终结

谨慎开发至关重要。 鉴于AGI的变革潜力，我们必须：

• 大力投资AGI安全研究
• 开发稳健的AI开发治理框架
• 努力在AGI系统中灌输有益的价值观和目标
• 避免急于开发AGI以免导致灾难

4. 灭绝和崩溃是我们必须解决的存在性风险

现在最重要的是避免结束人类历史。

人类灭绝将是巨大的悲剧。 人类的灭绝不仅会结束数十亿人的生命，还会终结我们物种和所有未来世代的巨大潜力。这可能意味着我们宇宙角落中意识和智能的永久丧失。

崩溃可能几乎和灭绝一样糟糕。 即使一些人类在灾难中幸存，文明的崩溃可能会将我们困在一个脆弱的状态，或导致有缺陷的价值观的锁定。恢复可能会非常困难，尤其是如果我们已经耗尽了易于获取的资源。

我们面临几个主要风险。 一些最紧迫的存在性风险包括：

• 核战争
• 人工制造的大流行病
• 不对齐的人工智能
• 极端气候变化
• 小行星撞击

保障人类是关键优先事项。 鉴于巨大的风险，减少存在性风险应该是我们的最高优先事项之一。这包括开发技术保障措施，改善全球协调，并创建稳健的备份计划以确保人类的生存和恢复。

5. 人工制造的大流行病对人类构成重大威胁

由于多种原因，我们往往对未来处于深度不确定的状态。

生物技术正在迅速进步。 工程和修改生物体的工具变得越来越强大和易于获取。虽然这具有巨大的潜在好处，但也带来了前所未有的风险。不久之后，可能会制造出比自然界中任何病原体更致命的病原体。

保障措施不足。 尽管存在风险，生物安全和生物安保措施往往松懈。已经有许多病原体从实验室逃逸的令人担忧的事件。监管和监督没有跟上技术能力的步伐。

故意滥用是一个严重问题。 除了意外释放，我们还必须担心生物武器的故意开发和使用。即使是少数恶意行为者也可能制造出全球大流行病。

准备工作至关重要。 为了减轻大流行病风险，我们迫切需要：

• 加强生物安全和生物安保措施
• 改善全球疾病监测和应对能力
• 投资广谱医疗对策
• 开发双重用途研究的治理框架

6. 气候变化和资源枯竭威胁长期生存

为了保障文明，我们需要确保超越不可持续的水平，并达到能够有效应对灾难性风险的技术水平。

气候变化带来长期风险。 虽然不太可能直接导致人类灭绝，但极端气候变化可能会破坏文明，使我们更容易受到其他威胁的影响。其影响可能持续数千年，阻碍从其他灾难中的恢复。

化石燃料枯竭使恢复复杂化。 如果我们耗尽了易于获取的化石燃料，文明在崩溃后恢复可能会更加困难。化石燃料的能量密度和可获取性在工业革命中起到了关键作用。

可持续技术至关重要。 为了确保长期生存和繁荣，我们需要：

• 快速转向清洁能源
• 开发能源存储和传输技术
• 提高各部门的能源效率
• 保留一些化石燃料作为备份

环境管理有长期利益。 通过保持稳定的气候和自然资源基础，我们为未来世代提供更多选择，并增加在灾难发生时恢复的机会。

7. 技术停滞可能将我们困在脆弱状态

我们就像一个没有绳索或安全带攀登陡峭悬崖的登山者，面临着显著的坠落风险。

进步不是保证的。 有理由担心技术进步可能会显著放缓甚至完全停止。这可能是由于以下因素：

• 人口增长放缓
• 研究的边际收益递减
• 资源限制
• 社会或政治因素

停滞是危险的。 如果我们在当前的技术水平上停滞不前，我们将继续面临各种存在性风险。我们需要持续的进步来开发应对大流行病、气候变化和人工智能等威胁的解决方案。

避免停滞需要努力。 为了保持技术进步，我们应该：

• 大力投资科学研究和开发
• 改革制度使其更有利于创新
• 谨慎管理人口趋势及其经济影响
• 保持长期进步的稳定基础

平衡进步和安全是关键。 虽然我们需要持续的技术进步，但我们也必须谨慎地负责任地开发新技术。目标应该是可持续的进步，增强而不是危及人类的长期潜力。

8. 增加幸福的人口具有积极的道德价值

如果人类能够生存到其潜在寿命的哪怕一小部分，那么，尽管看起来很奇怪，我们就是古人：我们生活在历史的最初阶段，最遥远的过去。

创造美好生活具有积极价值。 在其他条件相同的情况下，带来值得生活的人使世界变得更好。这意味着防止人类灭绝不仅仅是拯救现有的人，而是使大量未来有价值的生命成为可能。

这种观点有重大影响。 如果我们接受创造幸福的人是好的，这显著增加了以下方面的道德重要性：

• 确保人类的长期生存
• 向其他行星和恒星系统扩展
• 提高生活质量和增加人类的能力

存在挑战性的哲学问题。 这种观点在人口伦理中提出了复杂的问题，例如：

• 如何权衡生活的数量与质量
• 创造美好生活与糟糕生活之间是否存在不对称性
• 如何处理对未来福祉的不确定性

谨慎的道德推理至关重要。 鉴于塑造人类长期轨迹所涉及的巨大风险，我们必须深入思考这些伦理问题，并努力解决关键的不确定性。

9. 未来的预期价值可能是正面的

没有必然的进步弧线。没有救世主会阻止文明陷入反乌托邦或灭亡。

存在悲观的理由。 对未来有合法的担忧，包括反乌托邦、痛苦或灭绝的风险。我们不应该自满或认为进步是必然的。

但也有强烈的乐观理由：

• 人类福利随着时间显著改善
• 我们有越来越强的能力解决全球问题
• 大多数人希望创造一个积极的未来
• 好的潜力远远超过坏的潜力

预期价值计算偏向乐观。 虽然最坏的未来可能比最好的未来更糟，但好的未来似乎更有可能。这表明未来的预期价值是正面的。

乐观是有力量的。 相信我们可以创造一个积极的未来，激励我们为此目标努力。谨慎的乐观态度，既立足现实又对我们的潜力充满希望，可能是最具建设性的态度。

10. 我们可以采取具体行动保障人类的潜力

你可能比你意识到的更有力量。

个人行动很重要。 虽然我们面临的挑战是巨大的，但个人可以做许多具体的事情来帮助，包括：

• 向有效的组织捐款，解决关键问题
• 选择应对长期挑战的职业
• 倡导有益的政策和价值观
• 提高对长期思考的认识

关键关注领域包括：

• AI安全和治理
• 生物安全和大流行病准备
• 清洁能源创新
• 全球合作和制度建设
• 道德哲学和价值观传播

一个不断壮大的运动存在。 有一个新兴的研究人员、慈善家和活动家社区，致力于保障人类的长期潜力。参与这个社区可以放大你的影响力。

长期思考至关重要。 通过放大视野，考虑所涉及的一切，我们可以做出更明智的选择，不仅造福我们自己，还造福无数未来的世代。我们有责任和机会积极塑造宇宙中生命的长期未来。

Last updated: August 29, 2024