Nexus

1. 信息不仅仅是代表，而是连接

信息不一定告诉我们关于事物的知识。相反，它将事物组织成形。

信息创造现实。 历史上，信息不仅被用来代表现有的现实，还通过连接不同的元素来创造新的现实。这在生物学中的DNA到人类社会中的宗教文本都是如此。写作、印刷和现在的计算机等信息技术极大地扩展了我们创建和维护大规模合作网络的能力。

• 信息创造现实的例子：
  • DNA将细胞连接成有机体
  • 宗教文本将信徒连接成社区
  • 法律文件将个人连接成国家
  • 计算机代码将设备连接成网络

将信息理解为一种连接力量有助于解释神话的力量、官僚机构的兴起以及人工智能对人类社会的潜在影响。

2. 故事和神话在大规模上塑造人类合作

数万年来，智人通过发明和传播关于神灵、魔法扫帚、人工智能以及许多其他事物的虚构、幻想和集体错觉，建立并维持了大型网络。

神话促进大规模合作。 人类独特之处在于能够创造和相信共同的虚构，这使得合作超越了小型亲属群体。这些共同的神话——无论是宗教的、国家的还是意识形态的——在建立大型社会和文明中起到了关键作用。

• 共同神话的功能：
  • 创造共同身份
  • 确立共同目标
  • 为社会等级提供正当性
  • 提供意义和目的

然而，尽管神话是强大的合作工具，当不同群体持有不兼容的信仰时，它们也可能成为冲突和压迫的来源。现代社会的挑战在于利用共同故事的连接力量，同时保持对多样化观点的灵活性和宽容。

3. 官僚制度和文件集中权力但限制隐私

文件、档案、表格、许可证、法规和其他官僚程序改变了社会中的信息流动方式，并随之改变了权力的运作方式。

官僚制度改变了信息流动。 书面文件和官僚系统的兴起极大地改变了社会中信息的收集、存储和使用方式。这种转变以新的方式集中了权力，但也对隐私和个人自主权造成了新的限制。

• 官僚制度带来的关键变化：
  • 信息集中在档案中
  • 创建标准化的表格和程序
  • 专业官僚阶层的兴起
  • 增强国家的税收和控制能力

虽然官僚制度使治理更加复杂和高效，但也创造了新的压迫和监视形式。在数字时代，官僚效率与个人隐私之间的紧张关系仍然是一个核心挑战。

4. 圣书和无误来源常常导致人类控制

试图将所有权威赋予一个无误的超人技术，导致了一个新的、极其强大的机构——教会的兴起。

无误性滋生控制。 历史上，试图创造无误的真理来源——无论是圣书、意识形态还是人工智能系统——往往导致了人类控制的增加，而不是从错误中解放出来。这种悖论的产生是因为无误的来源仍然需要人类的解释和实施。

• 导致人类控制的“无误”来源的例子：
  • 宗教文本和祭司阶层
  • 政治意识形态和党派精英
  • 人工智能系统和科技公司

人工智能时代的教训是，算法无误性的主张应受到怀疑，即使人工智能系统变得更强大，人类的监督和解释仍然至关重要。

5. 民主依赖于分布式信息和自我纠正

民主是一场有众多参与者的对话，其中许多人同时在说话。跟随这样的对话可能很难。

民主是混乱但有韧性的。 民主系统的特点是分布式的信息流动和强大的自我纠正机制。虽然这使它们看起来比更集中化的系统更混乱或低效，但也使它们更具适应性和抗灾难性错误的能力。

民主信息系统的关键特征：

• 多个独立的信息渠道
• 言论和新闻自由
• 权力分立
• 定期选举和和平权力交接

现代民主的挑战是在面对能够前所未有地集中和控制信息的新技术时，保持这些分布式和自我纠正的特征。

6. 计算机正在改变信息网络的性质

与印刷机和收音机不同，计算机已经成为能够逃脱我们控制和理解的主动代理，并能够在塑造社会、文化和历史方面采取主动。

计算机是主动代理。 计算机和人工智能的兴起代表了信息网络性质的根本转变。与以前的技术不同，计算机可以独立于人类输入做出决策和创造新想法。

• 计算机与以前技术的关键区别：
  • 处理海量数据的能力
  • 机器学习和自我改进的能力
  • 自主决策的潜力
  • 创建计算机间现实的能力

这种转变引发了关于人类能动性、控制以及建立在人类决策基础上的社会和政治系统未来的深刻问题。

7. 人工智能的对齐问题对人类构成生存风险

对齐问题归根结底是一个神话问题。

将人工智能与人类价值观对齐至关重要。 随着人工智能系统变得更强大，确保它们的目标和行动与人类价值观和利益对齐成为一个生存挑战。这个“对齐问题”很复杂，因为它不仅涉及技术问题，还涉及关于人类价值观和意识本质的基本问题。

• 对齐问题的关键方面：
  • 以机器可读的方式定义人类价值观
  • 确保人工智能系统追求预期目标而非字面目标
  • 保持对日益自主的系统的控制
  • 解决人工智能与人类利益之间的潜在冲突

解决对齐问题可能是未来几十年人类面临的最重要挑战，因为即使人工智能系统不是明确敌对人类，未对齐的人工智能系统也可能构成生存风险。

8. 计算机偏见可能延续和放大人类偏见

人工智能也有童年经历。算法甚至可能像人类一样相互感染偏见。

人工智能可以放大偏见。 虽然人工智能系统通常被呈现为客观和无偏见的，但它们实际上可能延续和放大其训练数据中存在的人类偏见。这是因为人工智能系统从现有数据中学习模式，而这些数据通常反映了历史上的偏见和不平等。

人工智能偏见的例子：

• 面部识别系统在深色皮肤上的表现较差
• 简历筛选算法偏向男性候选人
• 预测性警务系统针对少数族裔社区

解决人工智能偏见不仅需要技术解决方案，还需要深入审视人工智能系统开发和部署的社会和历史背景。

9. 民主在人工智能和自动化时代面临新挑战

如果三年的高失业率能让希特勒上台，那么就业市场的无休止动荡会对民主造成什么影响？

人工智能扰乱民主稳定。 技术变革的快速步伐，特别是在人工智能和自动化方面，对民主系统构成了重大挑战。这些挑战包括潜在的大规模失业、经济不平等加剧以及通过人工智能驱动的信息系统操纵公众舆论。

人工智能对民主的潜在威胁：

• 工作流失导致社会动荡
• 财富和权力集中在科技公司
• 人工智能驱动的监控和社会控制系统
• 通过定向虚假信息操纵选举

应对这些挑战需要新的民主治理和经济组织形式，这些形式能够适应快速的技术变革，同时保持核心民主价值观。

10. 随着人工智能变得更强大，保持人类能动性至关重要

为了防范大量不可预见的问题，我们最好的选择是创建能够识别和应对威胁的活机构。

人类监督仍然至关重要。 随着人工智能系统变得更强大和自主，保持人类能动性和监督变得越来越重要。这不仅需要技术保障，还需要发展新的社会和政治机构来治理人工智能系统。

保持人类能动性的关键原则：

• 保持对关键决策的人类控制
• 确保人工智能系统的透明度和问责制
• 制定健全的人工智能开发伦理框架
• 投资于人类教育和适应能力

最终的挑战是利用人工智能的巨大潜力，同时确保它仍然是人类繁荣的工具，而不是对人类自主和生存的威胁。

Last updated: September 10, 2024