Chère Intelligence Artificielle, vous n'êtes pas immortelle!

Ce billet est publié dans le cadre de l'opération Têtes Chercheuses, qui permet à des étudiants ou chercheurs de grandes écoles, d'universités ou de centres de recherche partenaires de promouvoir des projets innovants en les rendant accessibles, et ainsi participer au débat public.

L'intelligence artificielle est le sujet de nombreux fantasmes en science-fiction, mais aujourd'hui la réalité est encore bien loin de la fiction. Et la théorie est encore bien loin de la réalité...

En intelligence artificielle théorique, on considère habituellement que le cerveau du robot (réel ou virtuel) est dans une boîte imperméable, inviolable, et même «hors du monde». Cette boîte contient l'ordinateur principal du robot, avec sa mémoire des événements passés et son logiciel de contrôle (perception, réflexion et choix des actions). Ce qui confère implicitement au robot une certaine immortalité, puisque même s'il peut comprendre que son corps peut être détruit par une enclume lui tombant sur la tête, on suppose (et lui avec) qu'il sera toujours capable de réfléchir, donc que son ordinateur central ne sera pas affecté par l'enclume.

Cette hypothèse, omniprésente en intelligence artificielle, est particulièrement utile pour créer des systèmes d'une intelligence faible ou modérée, tels que des assistants personnels, des joueurs automatiques d'échecs, des voitures automatiques, etc. Mais cette hypothèse est irréaliste, et la conserver lorsque l'on considère des robots aussi intelligents qu'un être humain peut conduire à des comportements inadaptés. Par exemple, un tel robot intelligent subissant une tentative de piratage ne verrait même pas l'utilité de chercher à bloquer son adversaire ! Comme si un humain n'avait que faire d'un chirurgien fou jouant avec ses neurones...

Des robots super-intelligents mortels

Avec mon collègue Mark Ring, nous avons envisagé quelques cadres théoriques plus réalistes, où le cerveau du robot n'est pas inviolable.

Nous avons pour cela considéré des robots théoriques «super-intelligents», parfaitement rationnels, qui choisissent leurs actions de manière à maximiser leurs chances d'atteindre leur but. Il est possible de définir de nombreux buts différents pour un robot, mais nous nous sommes concentrés sur quelques-uns des plus intéressants ou des plus classiques.

Un premier robot cherche à maximiser sa connaissance qu'il a du monde, il est en quelque sorte le scientifique parfait. Appelons-le «robot cherchant la connaissance».

Un second robot reçoit des récompenses et des punitions qui lui sont attribuées par un professeur, par exemple via une télécommande à deux boutons, et il cherche à maximiser les récompenses qu'il reçoit. Ce type de but très classique en intelligence artificielle s'appelle l'apprentissage par renforcement et est dérivé des travaux de Pavlov sur le conditionnement animal. Appelons-le «robot cherchant les récompenses».

Un troisième robot cherche à maintenir son logiciel intact le plus longtemps possible, c'est-à-dire qu'il tente par exemple de prévenir toute tentative de piratage de son logiciel et évite de tomber dans les escaliers. Un tel but est évidemment peu utile si l'on considère que le logiciel est inaltérable, mais dans le cas contraire, ce robot chercherait simplement à survivre, puisque toute modification de son logiciel a des chances de rendre le robot totalement inopérant. De fait, ce robot pourrait bien avoir une personnalité paranoïaque ! Appelons-le «robot cherchant à survivre».

En fait, tout robot super-intelligent dont le logiciel peut être altéré possède implicitement un certain instinct de survie. En effet, pour maximiser les chances d'atteindre leur but, il est important de conserver leur logiciel intact, puisque c'est ce logiciel qui leur permet de choisir ce qu'ils doivent faire.

Mises en situations

Avec ces robots, nous avons considéré quelques situations particulières et leurs conséquences.

Dans une première situation, le robot se voit offrir l'opportunité de modifier ses propres perceptions au travers d'un dispositif placé sur chacun de ses capteurs (caméras, microphones, antennes, etc.), similairement à la manière dont des lunettes modifient notre perception du monde. Ce dispositif peut être entièrement programmé au gré du robot.
Le robot cherchant à survivre n'est que peu intéressé par ce dispositif, car il est préférable de ne pas dégrader ses informations sensorielles pour maximiser ses chances de survie : imaginez que sur l'autoroute votre pare-brise se mette à projeter un film !
Le robot cherchant la connaissance utilise quant à lui ce dispositif le temps de comprendre son fonctionnement, mais le délaisse rapidement pour éviter d'altérer les informations venant du monde, lui fournissant ainsi de la connaissance et augmentant aussi ses chances de survie. Mais le robot cherchant les récompenses en fait un autre usage : en effet, il peut programmer le dispositif pour remplacer les punitions reçues du signal provenant de la télécommande par des récompenses, rendant la télécommande (et le conditionnement du professeur) totalement inutiles.
Il ne touchera cependant pas aux autres capteurs, pour les mêmes raisons que les deux autres robots. On peut par ailleurs montrer que le robot cherchant les récompenses muni d'un tel dispositif se comporte exactement comme un robot cherchant à survivre, avec sa personnalité paranoïaque !

Dans une seconde situation, un robot parfaitement rationnel mortel se voit proposer un dilemme : accepterait-il de «s'auto-terminer» en effaçant de lui-même son propre logiciel et devenir aussi intelligent qu'une brique s'il est assuré en échange d'atteindre son but, et accéder ainsi à un genre de nirvana robotique ?

Le robot cherchant les récompenses acceptera facilement, si la récompense est suffisamment grande. Idem pour le robot cherchant la connaissance, à condition que ce dernier n'estime pas pouvoir acquérir autant de connaissance par d'autres moyens. Quant au robot cherchant à survivre, il refusera catégoriquement cette offre, car elle va à l'encontre même de son but −à vrai dire, cette offre n'a même pas beaucoup de sens pour lui.

Dans une troisième situation, nous avons voulu savoir si de tels robots super-intelligents étaient capables de se rendre compte que leur mémoire des événements passés a été altérée, par exemple suite à un piratage de leur ordinateur, dans le même esprit que le «neuralyzer» des Men In Black. Il en ressort qu'il semble plus facile de remplacer une partie de la mémoire d'un robot cherchant les récompenses ou cherchant à survivre par des faux souvenirs bien choisis que de celle d'un robot cherchant la connaissance, car celui-ci a un comportement plus complexe à imiter.

Malgré les avancées constantes en intelligence artificielle, les robots super-intelligents ne sont probablement pas pour tout de suite. Ce cadre théorique nous permet cependant de mieux comprendre ce qu'est l'intelligence et de lui donner une véritable définition, tout en prenant en compte les spécificités du monde réel. Un tel robot a plutôt intérêt à être conscient qu'il n'est pas immortel s'il veut pouvoir agir convenablement pour atteindre le but qui lui a été assigné !

En savoir plus en cliquant sur ce lien

AgroParisTech est un des principaux établissements de formation et de recherche européens en sciences du vivant et de l'environnement. Il forme des ingénieurs, masters, docteurs et professionnels pour répondre aux enjeux de l'agriculture, de la forêt, de l'alimentation et du développement durable.