重点摘要
1. 即将到来的浪潮：人工智能和合成生物学重塑我们的世界
“技术不仅仅是工具或平台，而是一种变革性的元技术，是技术背后的技术和其他一切本身，是工具和平台的制造者，不仅是一个系统，而是任何和所有种类系统的生成器。”
范式转变。 即将到来的技术浪潮，以人工智能（AI）和合成生物学为中心，代表了人类能力的根本转变。这些技术不仅仅是工具，而是元技术，将重塑我们生活的各个方面，从我们的思维和交流方式到我们操控生命基本构件的方式。
前所未有的力量。 人工智能正在迅速发展，大型语言模型如GPT-4在广泛任务中展示了人类水平的表现。合成生物学使我们能够读取、编辑和编写生命的代码，开启了从设计生物体到激进延寿的可能性。这些技术的融合有望释放出解决全球挑战的巨大潜力，但也带来了前所未有的风险。
社会影响。 即将到来的浪潮将变革：
- 医疗保健（个性化医疗、疾病根除）
- 能源（聚变、先进可再生能源）
- 食品生产（实验室培育肉、工程作物）
- 制造业（原子级精确生产）
- 教育（AI导师、脑机接口）
- 治理（AI辅助决策）
- 战争（自主武器、生物武器）
2. 不可阻挡的扩散：技术的历史模式
“扩散是默认的。”
历史先例。 纵观历史，新技术始终遵循广泛传播的模式，无论试图遏制它们的努力如何。从印刷机到核武器，一旦技术被发明出来，它往往会传播并随着时间的推移变得更加普及。
指数增长。 技术扩散的速度正在加快。虽然像车轮这样的创新花了几个世纪才全球传播，但现代技术如智能手机在短短十年内就实现了几乎普及。这种加速是由以下因素驱动的：
- 改进的通信和信息共享
- 全球互联
- 成本下降和可及性增加
- 网络效应和正反馈循环
不可避免性。 完全阻止技术进步或扩散的尝试在历史上都失败了。即使某些应用被禁止或限制（如某些武器），基础知识和能力仍在继续进步和传播。这种模式表明，即将到来的AI和生物技术浪潮可能会遵循类似的不可阻挡的扩散轨迹。
3. 控制问题：意外后果和控制
“技术的不可避免挑战在于，一旦引入世界，其制造者很快就会失去对其发明路径的控制。”
意外后果。 即使是出于良好意图的技术也常常导致不可预见且可能有害的结果。例如：
- 社交媒体对心理健康和政治极化的影响
- 化石燃料推动气候变化
- 抗生素导致耐药超级细菌
控制挑战。 随着技术变得越来越强大和复杂，保持有意义的控制变得越来越困难。对于能够独立学习和进化的AI系统以及小变化可能产生深远影响的合成生物学尤其如此。
系统性风险。 现代技术的互联性意味着一个领域的失败或滥用可以迅速蔓延，影响整个系统。这放大了灾难性结果的潜力，使得有效控制更加关键。
4. 即将到来的浪潮的四个特征：不对称性、超进化、全用途和自主性
“即将到来的浪潮将改变世界。最终，人类可能不再是我们习惯的主要行星驱动者。”
不对称性。 即将到来的浪潮技术使个人或小团体能够掌握不成比例的力量。一个拥有AI系统的程序员可能会影响数百万人的生活，或者一个孤独的生物黑客可能会创造出危险的病原体。
超进化。 这些技术正在以前所未有的速度发展，不断改进并分支到新领域。这种快速进化使得监管框架和社会规范难以跟上。
全用途。 AI和合成生物学是通用技术，具有极其广泛的应用范围。这种多功能性使它们强大，但也难以在特定领域进行监管或限制。
自主性。 这些技术越来越能够独立于人类监督运行。这引发了关于控制、问责和人类决策在关键系统中角色的深刻问题。
5. 不可阻挡的激励：为什么我们不能对技术说不
“科学必须转化为有用和可取的产品，才能真正广泛传播。简单来说：大多数技术是为了赚钱而制造的。”
经济驱动。 巨大的利润潜力推动着不懈的技术发展。公司和投资者投入数十亿美元用于AI和生物技术研究，寻求竞争优势和新市场。
地缘政治竞争。 各国视技术霸权为经济和军事力量的关键。这助长了一种军备竞赛心态，美国和中国等国家在AI开发等领域激烈竞争。
科学好奇心。 人类内在的探索和理解驱动着研究人员不断突破界限，即使潜在风险已被承认。
解决全球挑战。 许多人认为先进技术对于应对气候变化、流行病和资源稀缺等生存威胁至关重要。
6. 大交易：国家在压力下
“国家将受到巨大的离心力和向心力、集中化和碎片化的影响。”
基础侵蚀。 公民与国家之间的传统社会契约正受到压力。即将到来的浪潮技术挑战了核心国家职能，如：
- 维持暴力垄断（自主武器）
- 经济管理（AI驱动的市场、加密货币）
- 边境控制（数字领域、生物工程身份）
- 信息控制（去中心化网络、合成媒体）
权力转移。 新的权力中心正在出现，包括：
- 拥有与国家相媲美资源的科技巨头
- 去中心化自治组织（DAOs）
- 赋权的个人和小团体
适应的必要性。 国家必须迅速发展，以在这些技术颠覆面前保持相关性和合法性。这可能需要重新构想核心治理结构和公民身份的本质。
7. 脆弱性放大器：对稳定性的新威胁
“最终，随着小规模技术故障的增加，对控制的呼声也会增加。随着控制的增加，制衡被削弱，地面发生变化，为进一步干预铺平道路，稳步走向技术反乌托邦的螺旋式下降开始。”
网络漏洞。 随着关键基础设施变得越来越互联和依赖AI，毁灭性网络攻击的潜力也在增长。一次单一的漏洞可能会瘫痪整个经济或政府职能。
信息战。 先进的AI生成的虚假信息和深度伪造威胁到对机构和共享现实概念的信任。这对民主社会构成了生存风险。
生物恐怖潜力。 合成生物学降低了创造设计病原体的门槛，可能将大流行级别的威胁置于非国家行为者或孤立个人手中。
经济破坏。 AI和自动化可能导致大规模的工作岗位流失，如果管理不当，将加剧不平等和社会动荡。
8. 困境：在灾难和反乌托邦之间导航
“一方面，对所有实验和开发的完全开放是灾难的直接配方。如果世界上的每个人都能玩核弹，某个阶段你就会有核战争。[…] 另一方面，完全的监视和完全的封闭是不可想象的、错误的和灾难性的。”
灾难性风险。 强大技术的失控发展可能导致生存威胁：
- 超出人类控制的通用人工智能（AGI）
- 工程化大流行病
- 纳米技术“灰色粘液”场景
- 由于不可预见的后果导致的环境崩溃
反乌托邦控制。 试图完全遏制技术风险可能导致专制噩梦：
- 无处不在的监视国家
- 对个人自由和创新的严厉限制
- 技术停滞导致无法解决全球挑战
狭窄路径。 挑战在于找到一种平衡，既允许有益的技术进步，又能减轻最严重的风险。这需要前所未有的全球合作和治理创新。
9. 十步遏制：行动框架
“遏制不是一个休息的地方。它是一条狭窄且永无止境的道路。”
多层次方法。 有效遏制即将到来的浪潮需要在多个层面采取行动：
- 技术安全：在AI和生物技术系统中直接构建稳健的安全措施。
- 审计：开发严格的独立验证过程。
- 瓶颈：识别和管理技术开发中的关键瓶颈。
- 制造者：在技术人员中培养责任文化。
- 企业：使企业激励与长期社会利益保持一致。
- 政府：加强国家能力以理解和监管先进技术。
- 联盟：建立国际协议和合作框架。
- 文化：促进平衡创新与谨慎的社会价值观。
- 运动：建立对负责任技术发展的公众支持。
- 狭窄路径：保持持续的警惕和适应性。
10. 狭窄路径：平衡创新与安全
“安全、受控的技术就像自由民主一样，不是一个最终的终点状态；相反，它是一个持续的过程，一个需要积极维护、不断争取和保护的微妙平衡。”
持续努力。 对于即将到来的浪潮所带来的挑战，没有永久的解决方案。相反，社会必须致力于持续的评估、适应和谨慎治理过程。
拥抱复杂性。 有效遏制需要细致入微的方法：
- 允许有益的技术进步
- 减轻最严重的风险
- 保持核心价值观，如个人自由和人权
- 保持足够的灵活性以应对不可预见的发展
全球合作。 这些技术的跨国性质要求前所未有的国际合作。这包括：
- 协调监管框架
- 共享最佳实践和预警系统
- 关于安全和伦理的联合研究计划
- 应对全球技术危机的集体响应机制
Last updated:
评论
《即将到来的浪潮》收到了褒贬不一的评价。许多人赞扬其对人工智能潜在影响和风险的洞见，欣赏苏莱曼的内部视角。读者认为这本书发人深省且及时，突出了重要的伦理考量。然而，有些人批评它内容重复、过于推测或缺乏深度。该书被认为对普通人来说易于理解，但对于已经熟悉人工智能话题的人来说可能显得平淡。总体而言，这本书被认为是理解人工智能未来及其社会影响的重要读物。