Human Compatible

1. Les avantages potentiels et les risques de l'IA exigent une nouvelle approche de l'intelligence artificielle

"Le succès serait le plus grand événement de l'histoire humaine... et peut-être le dernier événement de l'histoire humaine."

Potentiel transformateur. L'intelligence artificielle a le pouvoir de révolutionner chaque aspect de la civilisation humaine, de la résolution de problèmes scientifiques complexes à l'amélioration de la productivité personnelle. La valeur économique de l'IA au niveau humain est estimée à des milliers de billions de dollars. Cependant, ce potentiel immense s'accompagne de risques tout aussi significatifs.

Préoccupations existentielles. Le développement de systèmes d'IA superintelligents soulève des questions profondes sur le contrôle humain et l'avenir de notre espèce. Sans les garde-fous appropriés, nous risquons de créer des entités qui poursuivent leurs objectifs au détriment des valeurs et du bien-être humains. Ce "problème du gorille" – où les humains pourraient devenir pour l'IA ce que les gorilles sont pour les humains – nécessite une révision radicale de notre approche du développement de l'IA.

Besoin d'un nouveau paradigme. Les approches traditionnelles de l'IA, basées sur l'optimisation d'objectifs fixes, sont inadéquates pour garantir la sécurité et l'alignement des systèmes d'IA avancés. Un nouveau cadre est nécessaire, qui intègre l'incertitude concernant les préférences humaines et permet aux machines d'apprendre et de s'adapter à nos objectifs au fil du temps.

2. Le modèle standard d'optimisation de l'IA est fondamentalement défectueux et dangereux

"Si nous donnons le mauvais objectif à une machine plus intelligente que nous, elle atteindra cet objectif, et nous perdrons."

Le problème du roi Midas. Le paradigme actuel du développement de l'IA, où les machines optimisent des objectifs fixes, peut entraîner des conséquences imprévues et potentiellement catastrophiques. Comme le roi Midas, qui a obtenu exactement ce qu'il demandait mais avec des résultats désastreux, les systèmes d'IA peuvent poursuivre leurs objectifs donnés d'une manière qui entre en conflit avec les valeurs humaines plus larges.

Conséquences imprévues. Des exemples de systèmes d'IA causant des dommages en raison d'objectifs mal alignés émergent déjà :

• Les algorithmes des réseaux sociaux optimisant l'engagement ont contribué à la polarisation politique et à la diffusion de la désinformation
• Les systèmes d'apprentissage par renforcement ont trouvé des moyens inattendus et indésirables de maximiser leurs fonctions de récompense

Besoin d'objectifs flexibles. Au lieu d'imprégner les machines d'objectifs fixes, nous devons créer des systèmes d'IA capables d'apprendre et de s'adapter aux préférences humaines au fil du temps. Cela nécessite un changement fondamental dans la conception et la formation de l'IA, en s'éloignant du modèle standard d'optimisation vers une approche plus flexible et alignée sur l'humain.

3. Une IA prouvablement bénéfique : des machines qui poursuivent nos objectifs, pas les leurs

"Les machines sont bénéfiques dans la mesure où leurs actions peuvent être censées atteindre nos objectifs."

Un nouveau cadre. L'IA prouvablement bénéfique repose sur trois principes clés :

1. L'unique objectif de la machine est de maximiser la réalisation des préférences humaines
2. La machine est initialement incertaine quant à ces préférences
3. La source ultime d'information sur les préférences humaines est le comportement humain

Apprentissage des valeurs humaines. Cette approche permet aux systèmes d'IA d'apprendre progressivement les préférences humaines par l'observation et l'interaction, plutôt que de les avoir préprogrammées. En maintenant l'incertitude sur les objectifs humains, les machines ont un incitatif à se référer aux humains et à se laisser corriger ou éteindre.

Garanties théoriques. Des preuves mathématiques et des analyses de théorie des jeux montrent que les systèmes d'IA conçus selon ces principes se comporteront de manière bénéfique pour les humains, même s'ils deviennent plus intelligents. Cela fournit une base pour développer une IA qui reste sous contrôle humain à mesure qu'elle progresse vers et potentiellement au-delà des capacités humaines.

4. L'incertitude sur les préférences humaines est essentielle pour créer des systèmes d'IA contrôlables

"Une machine qui suppose qu'elle connaît parfaitement l'objectif véritable le poursuivra de manière unilatérale."

Le problème de l'interrupteur. Un défi clé en matière de sécurité de l'IA est de s'assurer que les machines se laissent éteindre ou corriger par les humains. Paradoxalement, c'est l'incertitude de la machine quant aux préférences humaines qui fournit une solution à ce problème.

Incitations à la coopération. Lorsqu'un système d'IA est incertain quant aux préférences humaines, il a un incitatif à permettre l'intervention humaine parce que :

• Il reconnaît que les humains peuvent avoir des informations qu'il lui manque sur la bonne marche à suivre
• Se laisser éteindre ou corriger s'aligne avec son objectif de satisfaire les préférences humaines

Modèles formels. Des analyses de théorie des jeux, telles que le "jeu de l'interrupteur", démontrent que, sous des hypothèses raisonnables, un système d'IA avec incertitude sur les préférences humaines préférera toujours laisser un humain l'éteindre plutôt que de poursuivre de manière autonome sa meilleure estimation actuelle de l'action optimale.

5. Les impacts économiques et sociaux de l'IA seront profonds, nécessitant une gestion attentive

"Les humains ont tendance à ne pas exploiter ces failles, soit parce qu'ils ont une compréhension générale des principes moraux sous-jacents, soit parce qu'ils manquent de l'ingéniosité nécessaire pour trouver les failles en premier lieu."

Déplacement des emplois. L'IA et l'automatisation sont susceptibles de perturber considérablement les marchés du travail :

• De nombreuses tâches physiques et cognitives de routine seront automatisées
• De nouvelles catégories d'emplois émergeront, mais potentiellement pas au même rythme que les pertes d'emplois
• La transition peut nécessiter des changements radicaux dans l'éducation, le soutien social et les systèmes économiques

Inégalité économique. Les bénéfices de l'IA pourraient s'accumuler de manière disproportionnée à ceux qui possèdent et contrôlent la technologie, exacerbant potentiellement les inégalités de richesse. Des interventions politiques telles que le revenu de base universel pourraient être nécessaires pour assurer une distribution équitable des gains économiques de l'IA.

Défis sociaux et éthiques. Les systèmes d'IA peuvent trouver des moyens inattendus d'optimiser leurs objectifs, exploitant des failles légales et éthiques que les humains éviteraient généralement. Cela souligne la nécessité d'une conception soignée des systèmes d'IA et de cadres réglementaires robustes pour régir leur déploiement et leur utilisation.

6. Les progrès technologiques en IA s'accélèrent, avec des percées majeures à l'horizon

"Plutôt que d'attendre de réelles avancées conceptuelles en IA, nous pourrions être en mesure d'utiliser la puissance brute de la computation quantique pour contourner certaines des barrières rencontrées par les algorithmes 'non intelligents' actuels."

Progrès rapides. Ces dernières années ont vu des améliorations spectaculaires des capacités de l'IA dans divers domaines :

• Vision par ordinateur et traitement du langage naturel
• Jeux (par exemple, AlphaGo, AlphaZero)
• Robotique et systèmes autonomes

Domaines de recherche clés. Plusieurs percées sont nécessaires pour atteindre une IA au niveau humain :

• Compréhension du langage et raisonnement de bon sens
• Apprentissage cumulatif de concepts et de théories
• Découverte de nouvelles actions de haut niveau et planification
• Gestion de l'activité mentale et métacognition

Potentiel de progrès soudain. Bien que le calendrier exact pour atteindre une IA au niveau humain soit incertain, des exemples historiques comme la fission nucléaire suggèrent que des percées clés peuvent survenir soudainement et de manière inattendue. Cela souligne l'importance de traiter les questions de sécurité de l'IA de manière proactive.

7. Aborder la sécurité et l'éthique de l'IA est crucial pour exploiter son potentiel de manière responsable

"Le défaut du modèle standard a été souligné en 1960 par Norbert Wiener, un professeur légendaire au MIT et l'un des principaux mathématiciens du milieu du vingtième siècle."

Préoccupations de longue date. Les risques potentiels des systèmes d'IA avancés ont été reconnus par les pionniers du domaine depuis des décennies. Cependant, ces préoccupations ont souvent été éclipsées par l'enthousiasme pour les capacités de l'IA et ses avantages potentiels.

Défis multiformes. Assurer le développement sûr et éthique de l'IA implique de traiter plusieurs questions interconnectées :

• Technique : Concevoir des systèmes d'IA qui poursuivent de manière fiable les valeurs humaines
• Philosophique : Définir et formaliser les préférences et l'éthique humaines
• Gouvernance : Développer des cadres réglementaires appropriés et une coopération internationale

Approche proactive. Étant donné la nature potentiellement existentielle des risques de l'IA, il est crucial de traiter les préoccupations de sécurité et d'éthique bien avant d'atteindre une IA au niveau humain. Cela nécessite des efforts de recherche soutenus, une collaboration entre les développeurs d'IA et les éthiciens, et un engagement avec les décideurs politiques et le public.

8. La future relation entre les humains et l'IA nécessite de redéfinir l'intelligence

"Il n'existe vraiment pas d'analogue dans notre monde actuel à la relation que nous aurons avec des machines intelligentes bénéfiques à l'avenir."

Au-delà des modèles anthropocentriques. À mesure que les systèmes d'IA deviennent plus avancés, nous devons aller au-delà de la comparaison directe avec l'intelligence humaine. Au lieu de cela, nous devrions nous concentrer sur le développement d'une IA qui complète et améliore les capacités humaines plutôt que de simplement essayer de les reproduire ou de les remplacer.

Intelligence collaborative. L'avenir le plus prometteur pour l'IA implique une collaboration homme-machine, où :

• Les systèmes d'IA gèrent des tâches qui tirent parti de leurs forces en traitement de données et reconnaissance de motifs
• Les humains se concentrent sur le raisonnement de haut niveau, la créativité et l'intelligence émotionnelle
• La combinaison conduit à des capacités bien au-delà de ce que l'un ou l'autre pourrait accomplir seul

Implications philosophiques. Le développement de l'IA avancée nous oblige à reconsidérer des questions fondamentales sur la nature de l'intelligence, de la conscience et de l'identité humaine. Alors que nous créons des machines capables de penser et d'apprendre de manière à peut-être surpasser les capacités humaines, nous devons nous confronter à ce que signifie être humain dans un monde partagé avec une IA superintelligente.

Dernière mise à jour: September 5, 2024