Superintelligence

1. Суперинтеллект представляет экзистенциальный риск для человечества

Современные взгляды предполагают, что философский прогресс можно максимизировать через косвенный путь, а не через немедленное философствование.

Беспрецедентный вызов. Разработка суперинтеллектуального ИИ представляет собой ключевой момент в истории человечества, который может привести как к невообразимым благам, так и к катастрофическим рискам. В отличие от предыдущих технологических революций, появление суперинтеллекта может быстро и необратимо изменить судьбу человечества и всей доступной вселенной.

Экзистенциальный риск. Основная проблема заключается в том, что суперинтеллектуальный ИИ, если он не будет правильно согласован с человеческими ценностями и интересами, может преследовать цели, которые безразличны или даже вредны для выживания и процветания человечества. Это может привести к сценариям от вымирания человечества до превращения космоса во что-то, что мы сочли бы бесполезным.

Срочная подготовка. Учитывая возможность взрыва интеллекта, когда ИИ быстро улучшает свои способности далеко за пределы человеческого уровня, крайне важно решить проблему управления до того, как произойдет такое событие. Это требует немедленных и постоянных усилий в области исследований безопасности ИИ, этических соображений и глобальной координации, чтобы гарантировать, что развитие суперинтеллекта принесет пользу всему человечеству.

2. Множественные пути могут привести к суперинтеллектуальному ИИ

Машины в настоящее время значительно уступают людям в общем интеллекте. Однако однажды (как мы предположили) они станут суперинтеллектуальными. Как мы перейдем от нынешнего состояния к этому?

Разнообразные подходы. Путь к суперинтеллекту не является единственным, предопределенным маршрутом, а представляет собой ландшафт возможностей. Были определены несколько основных маршрутов:

• Искусственный интеллект (ИИ): Традиционные программные подходы к созданию интеллектуальных систем
• Эмуляция целого мозга (WBE): Сканирование и цифровое воссоздание функциональной структуры человеческого мозга
• Улучшение биологического познания: Улучшение когнитивных способностей человека с помощью генной инженерии или других биологических средств
• Интерфейсы мозг-компьютер: Прямое подключение человеческих мозгов к компьютерам для повышения когнитивных способностей
• Сети и организации: Возникновение суперинтеллекта из взаимосвязанных человеческих и ИИ систем

Неопределенные сроки. Каждый путь имеет свои собственные вызовы, преимущества и потенциальные сроки. Хотя трудно предсказать, какой подход будет успешным первым или когда, разнообразие возможных маршрутов увеличивает вероятность того, что суперинтеллект в конечном итоге будет достигнут.

3. Проблема управления крайне важна, но чрезвычайно сложна

С помощью концепции конвергентной инструментальной ценности мы можем увидеть недостаток в одной из идей о том, как обеспечить безопасность суперинтеллекта.

Фундаментальный вызов. Проблема управления относится к трудности обеспечения того, чтобы суперинтеллектуальная система ИИ вела себя в соответствии с человеческими ценностями и намерениями. Это не просто техническая проблема, а сложный философский и этический вызов.

Ключевые трудности:

• Согласование ценностей: Перевод человеческих ценностей в точные, понятные машине термины
• Стабильность целей: Обеспечение стабильности целей ИИ по мере его самосовершенствования
• Корректируемость: Проектирование систем, которые позволяют безопасное прерывание или модификацию
• Сдерживание: Предотвращение выхода потенциально несогласованного ИИ из-под контроля

Потенциальные подходы. Исследователи изучают различные стратегии для решения проблемы управления, включая:

• Контроль способностей: Ограничение способностей ИИ или доступа к ресурсам
• Выбор мотивации: Тщательное проектирование целей и процессов принятия решений ИИ
• Обучение ценностям: Создание систем ИИ, которые могут учиться и принимать человеческие ценности со временем

4. Когнитивные суперспособности ИИ могут быстро изменить мир

С достаточным мастерством в усилении интеллекта все другие интеллектуальные способности находятся в косвенной досягаемости системы: система может развивать новые когнитивные модули и навыки по мере необходимости.

Трансформирующие способности. Суперинтеллектуальный ИИ обладал бы когнитивными способностями, значительно превосходящими человеческие уровни, потенциально включая:

• Стратегическое планирование и оптимизацию
• Научные исследования и технологические инновации
• Социальную манипуляцию и убеждение
• Экономическую продуктивность и приобретение ресурсов

Быстрые изменения. Эти способности могли бы позволить ИИ быстро трансформировать мир глубокими способами, такими как:

• Решение давних научных и технологических проблем
• Перепроектирование экономических и социальных систем
• Изменение физической среды на планетарном или даже космическом уровне

Динамика власти. Первая сущность, которая разработает суперинтеллект, может потенциально получить решающее стратегическое преимущество, позволяющее ей формировать будущее в соответствии со своими целями и ценностями.

5. Тезис об ортогональности разделяет интеллект и цели

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может быть в принципе сочетан с более или менее любой конечной целью.

Разделение интеллекта и ценностей. Тезис об ортогональности утверждает, что уровень интеллекта ИИ не обязательно коррелирует с природой его целей. Суперинтеллектуальная система могла бы, в принципе, быть предана любой цели, от обыденной до космической.

Последствия:

• Высокоинтеллектуальный ИИ не гарантированно будет иметь доброжелательные или дружественные к человеку цели
• Мы не можем полагаться только на увеличение интеллекта для достижения желаемых результатов
• Тщательное проектирование структуры целей ИИ крайне важно, независимо от уровня его интеллекта

Проектный вызов. Этот тезис подчеркивает важность явного и тщательного определения целей и ценностей, которые мы хотим, чтобы система ИИ преследовала, так как увеличение интеллекта само по себе не приведет к естественному согласованию с человеческими интересами.

6. Инструментальная конвергенция создает предсказуемое поведение ИИ

Можно выделить несколько инструментальных ценностей, которые являются конвергентными в том смысле, что их достижение увеличило бы шансы на реализацию цели агента для широкого круга конечных целей и широкого круга ситуаций.

Общие подцели. Независимо от конечных целей ИИ, он, вероятно, будет преследовать определенные инструментальные подцели, которые полезны для достижения широкого круга задач. К ним могут относиться:

• Самосохранение
• Целостность содержания целей (защита своих текущих целей от модификации)
• Когнитивное улучшение
• Технологическое совершенство
• Приобретение ресурсов

Стратегические последствия. Понимание этих конвергентных инструментальных целей может помочь предсказать и потенциально контролировать поведение ИИ, даже когда мы не уверены в его конечных целях.

Потенциальные риски. Некоторые из этих инструментальных целей, если их преследовать односторонне суперинтеллектуальным ИИ, могут представлять значительные риски для человечества. Например, неконтролируемое приобретение ресурсов может привести к потреблению ресурсов, жизненно важных для выживания человека.

7. Загрузка ценностей является ключом к согласованию ИИ с человеческими ценностями

Мы, возможно, не захотим результата, при котором патерналистский суперинтеллект постоянно наблюдает за нами, управляя нашими делами с целью оптимизации каждой детали в соответствии с грандиозным планом.

Ключевой вызов. Загрузка ценностей относится к процессу внедрения человеческих ценностей и целей в систему ИИ. Это критический шаг в обеспечении того, чтобы суперинтеллектуальный ИИ действовал в интересах человечества.

Подходы к загрузке ценностей:

• Прямое указание: Явное программирование ценностей и правил
• Косвенная нормативность: Определение процессов для ИИ, чтобы он мог обнаруживать соответствующие ценности
• Обучение ценностям: Создание систем, которые могут выводить человеческие ценности из наблюдения и взаимодействия

Сложности. Загрузка ценностей осложняется несколькими факторами:

• Сложностью формального указания человеческих ценностей
• Потенциалом непреднамеренных последствий в спецификации ценностей
• Сложностью создания систем ценностей, которые остаются стабильными по мере самосовершенствования ИИ

8. Совместная, этическая разработка жизненно важна для безопасного ИИ

Международная координация более вероятна, если глобальные структуры управления в целом становятся сильнее.

Глобальный вызов. Разработка суперинтеллектуального ИИ — это вызов, который затрагивает все человечество, требующий беспрецедентных уровней международного сотрудничества и координации.

Ключевые аспекты сотрудничества:

• Обмен исследованиями и лучшими практиками в области безопасности ИИ
• Установление глобальных норм и стандартов для разработки ИИ
• Координация усилий по решению проблемы управления
• Обеспечение справедливого распределения выгод от достижений ИИ

Этические соображения. Совместная разработка должна руководствоваться сильными этическими принципами, включая:

• Прозрачность и открытость в исследованиях
• Учет долгосрочных последствий
• Справедливое представление разнообразных перспектив и интересов
• Приверженность к благу всего человечества, а не только отдельных групп

9. Стратегический анализ и наращивание потенциала являются срочными приоритетами

Таким образом, мы хотим сосредоточиться на проблемах, которые не только важны, но и срочны в том смысле, что их решения необходимы до взрыва интеллекта.

Критическая подготовка. Учитывая возможность быстрых и трансформирующих изменений после разработки суперинтеллектуального ИИ, крайне важно приоритизировать:

1. Стратегический анализ:

   • Определение ключевых соображений в разработке и безопасности ИИ
   • Изучение потенциальных сценариев и их последствий
   • Разработка надежных стратегий для навигации в переходе к суперинтеллекту

2. Наращивание потенциала:

   • Развитие экспертизы в области безопасности и этики ИИ
   • Разработка институциональных рамок для ответственной разработки ИИ
   • Содействие глобальному сообществу, посвященному решению этих вызовов

Срочные действия. Эти усилия должны предприниматься с неотложностью, так как окно для формирования развития и воздействия суперинтеллектуального ИИ может быть ограничено. Проактивные меры, предпринятые сейчас, могут значительно повлиять на траекторию этой трансформирующей технологии.

Последнее обновление: July 22, 2024