Nexus

1. Информация — это связь, а не просто представление

Информация не обязательно информирует нас о вещах. Скорее, она формирует вещи.

Информация создает реальности. На протяжении всей истории информация использовалась не только для представления существующих реальностей, но и для создания новых, соединяя разрозненные элементы. Это верно как для ДНК в биологии, так и для религиозных текстов в человеческих обществах. Информационные технологии, такие как письмо, печать и теперь компьютеры, значительно расширили наши возможности по созданию и поддержанию крупномасштабных кооперативных сетей.

• Примеры создания реальностей информацией:
  • ДНК, соединяющая клетки в организмы
  • Религиозные тексты, соединяющие верующих в сообщества
  • Юридические документы, соединяющие людей в нации
  • Компьютерный код, соединяющий устройства в сети

Понимание информации как связующей силы помогает объяснить такие явления, как сила мифов, рост бюрократий и потенциальное влияние ИИ на человеческие общества.

2. Истории и мифы формируют человеческое сотрудничество в массовом масштабе

На протяжении десятков тысяч лет сапиенсы строили и поддерживали крупные сети, изобретая и распространяя вымыслы, фантазии и массовые заблуждения — о богах, о волшебных метлах, о ИИ и о многом другом.

Мифы позволяют крупномасштабное сотрудничество. Люди уникальны в своей способности создавать и верить в общие вымыслы, что позволяет сотрудничать за пределами небольших родственных групп. Эти общие мифы — будь то религиозные, национальные или идеологические — были ключевыми в построении больших обществ и цивилизаций.

• Функции общих мифов:
  • Создание общих идентичностей
  • Установление общих целей
  • Оправдание социальных иерархий
  • Обеспечение смысла и цели

Однако, хотя мифы являются мощными инструментами для сотрудничества, они также могут быть источниками конфликтов и угнетения, когда разные группы придерживаются несовместимых убеждений. Задача современных обществ — использовать связующую силу общих историй, сохраняя при этом гибкость и терпимость к разнообразным точкам зрения.

3. Бюрократия и документы централизовали власть, но ограничили приватность

Документы, архивы, формы, лицензии, регламенты и другие бюрократические процедуры изменили способ циркуляции информации в обществе, а вместе с этим и способ функционирования власти.

Бюрократия изменила поток информации. Появление письменных документов и бюрократических систем кардинально изменило способ сбора, хранения и использования информации в обществах. Этот сдвиг централизовал власть новыми способами, но также создал новые ограничения для приватности и индивидуальной автономии.

• Ключевые изменения, вызванные бюрократией:
  • Централизация информации в архивах
  • Создание стандартизированных форм и процедур
  • Рост специализированных бюрократических классов
  • Увеличение государственной способности к налогообложению и контролю

Хотя бюрократия позволила более сложное и эффективное управление, она также создала новые формы угнетения и наблюдения. Напряжение между бюрократической эффективностью и индивидуальной приватностью остается центральной проблемой в цифровую эпоху.

4. Священные книги и непогрешимые источники часто ведут к человеческому контролю

Попытка вложить всю власть в непогрешимую сверхчеловеческую технологию привела к возникновению новой и чрезвычайно мощной человеческой институции — церкви.

Непогрешимость порождает контроль. На протяжении истории попытки создать непогрешимые источники истины — будь то священные книги, идеологии или системы ИИ — часто приводили к усилению человеческого контроля, а не к освобождению от ошибок. Этот парадокс возникает потому, что непогрешимые источники все равно требуют человеческой интерпретации и реализации.

• Примеры "непогрешимых" источников, ведущих к человеческому контролю:
  • Религиозные тексты и священнические классы
  • Политические идеологии и партийные элиты
  • Системы ИИ и технологические компании

Урок для эпохи ИИ заключается в том, что заявления о непогрешимости алгоритмов следует воспринимать с скептицизмом, и человеческий надзор и интерпретация останутся важными, даже когда системы ИИ станут более мощными.

5. Демократия опирается на распределенную информацию и самокоррекцию

Демократия — это разговор с многочисленными участниками, многие из которых говорят одновременно. Следить за таким разговором может быть сложно.

Демократия хаотична, но устойчива. Демократические системы характеризуются распределенными потоками информации и сильными механизмами самокоррекции. Хотя это может сделать их кажущимися хаотичными или неэффективными по сравнению с более централизованными системами, это также делает их более адаптивными и устойчивыми к катастрофическим ошибкам.

Ключевые особенности демократических информационных систем:

• Многочисленные независимые информационные каналы
• Свобода слова и прессы
• Разделение властей
• Регулярные выборы и мирные передачи власти

Задача для современных демократий — сохранить эти распределенные и самокорректирующиеся особенности в условиях новых технологий, которые позволяют беспрецедентную централизацию и контроль информации.

6. Компьютеры меняют природу информационных сетей

В отличие от печатных станков и радиоприемников, которые были пассивными инструментами в руках человека, компьютеры уже становятся активными агентами, выходящими из-под нашего контроля и понимания и способными принимать инициативы в формировании общества, культуры и истории.

Компьютеры — активные агенты. Появление компьютеров и ИИ представляет собой фундаментальный сдвиг в природе информационных сетей. В отличие от предыдущих технологий, компьютеры могут принимать решения и создавать новые идеи независимо от человеческого ввода.

• Ключевые отличия между компьютерами и предыдущими технологиями:
  • Способность обрабатывать огромные объемы данных
  • Возможность машинного обучения и самоулучшения
  • Потенциал для автономного принятия решений
  • Создание межкомпьютерных реальностей

Этот сдвиг поднимает глубокие вопросы о человеческой агентности, контроле и будущем социальных и политических систем, построенных на человеческом принятии решений.

7. Проблема согласования ИИ представляет экзистенциальные риски для человечества

Проблема согласования оказывается, по сути, проблемой мифологии.

Согласование ИИ с человеческими ценностями критично. По мере того, как системы ИИ становятся более мощными, обеспечение того, чтобы их цели и действия соответствовали человеческим ценностям и интересам, становится экзистенциальной задачей. Эта "проблема согласования" сложна, потому что она включает не только технические вопросы, но и фундаментальные вопросы о человеческих ценностях и природе сознания.

• Ключевые аспекты проблемы согласования:
  • Определение человеческих ценностей в машиночитаемых терминах
  • Обеспечение того, чтобы системы ИИ преследовали намеренные, а не буквальные цели
  • Сохранение человеческого контроля над все более автономными системами
  • Решение потенциальных конфликтов между ИИ и человеческими интересами

Решение проблемы согласования может быть самой важной задачей, стоящей перед человечеством в ближайшие десятилетия, так как несогласованные системы ИИ могут представлять экзистенциальные риски, даже если они не будут явно враждебны к людям.

8. Компьютерные предвзятости могут увековечивать и усиливать человеческие предрассудки

У ИИ тоже есть детские переживания. Алгоритмы могут даже заражать друг друга своими предвзятостями, как это делают люди.

ИИ может усиливать предвзятости. Хотя системы ИИ часто представляются объективными и беспристрастными, они могут на самом деле увековечивать и усиливать человеческие предрассудки, присутствующие в их обучающих данных. Это происходит потому, что системы ИИ учатся на существующих данных, которые часто отражают исторические предвзятости и неравенства.

Примеры предвзятости ИИ:

• Системы распознавания лиц, плохо работающие с темными оттенками кожи
• Алгоритмы отбора резюме, предпочитающие мужских кандидатов
• Системы предсказательной полиции, нацеленные на районы меньшинств

Решение проблемы предвзятости ИИ требует не только технических решений, но и глубокого анализа социальных и исторических контекстов, в которых разрабатываются и внедряются системы ИИ.

9. Демократия сталкивается с новыми вызовами в эпоху ИИ и автоматизации

Если три года высокой безработицы могли привести Гитлера к власти, что может сделать бесконечная турбулентность на рынке труда с демократией?

ИИ нарушает демократическую стабильность. Быстрый темп технологических изменений, особенно в области ИИ и автоматизации, представляет значительные вызовы для демократических систем. Эти вызовы включают потенциальную массовую безработицу, увеличение экономического неравенства и манипуляцию общественным мнением через информационные системы, управляемые ИИ.

Потенциальные угрозы демократии со стороны ИИ:

• Увольнения, ведущие к социальным беспорядкам
• Концентрация богатства и власти в технологических компаниях
• Системы наблюдения и социального контроля, управляемые ИИ
• Манипуляция выборами через целенаправленную дезинформацию

Решение этих вызовов потребует новых форм демократического управления и экономической организации, которые смогут адаптироваться к быстрым технологическим изменениям, сохраняя при этом основные демократические ценности.

10. Сохранение человеческой агентности критично по мере усиления ИИ

Чтобы защититься от множества непредсказуемых проблем, наш лучший шанс — создать живые институты, которые смогут выявлять и реагировать на угрозы по мере их возникновения.

Человеческий надзор остается важным. По мере того, как системы ИИ становятся более мощными и автономными, сохранение человеческой агентности и надзора становится все более важным. Это требует не только технических мер безопасности, но и разработки новых социальных и политических институтов, способных управлять системами ИИ.

Ключевые принципы для сохранения человеческой агентности:

• Сохранение человеческого контроля над критическими решениями
• Обеспечение прозрачности и подотчетности в системах ИИ
• Разработка надежных этических рамок для разработки ИИ
• Инвестирование в человеческое образование и адаптивность

Главная задача — использовать огромный потенциал ИИ, обеспечивая при этом, чтобы он оставался инструментом для процветания человечества, а не угрозой для человеческой автономии и существования.

Последнее обновление: September 10, 2024