Norman est un psychopathe. Quand on lui fait passer le célèbre test de Rorschach, qui consiste à décrire ce que l'on voit dans des tâches d'encres, il n'y trouve que la mort. Mais Norman n'est pas humain, c'est une intelligence artificielle créée par une équipe de chercheurs du MIT.
Norman est décrit comme "la première intelligence artificielle psychopathe au monde". Le prénom est une référence au personnage de Norman Bates, incarné par Anthony Perkins dans le film d'Alfred Hitchcock Psychose. Quand un algorithme standard voit dans une tâche d'encre "un groupe d'oiseaux posés sur le dessus d'une branche d'arbre", Norman y voit "un homme électrocuté".
Cela vous angoisse? Il y a de quoi, mais peut-être pas pour les bonnes raisons. Norman n'est pas doué de conscience et ne va pas se transformer en une sorte de Skynet. C'est un simple algorithme spécialisé, qui ne sait faire qu'une chose: trouver une légende à des photos. Et c'est ici que se trouve le risque sur lequel les chercheurs du MIT veulent alerter.
Entraîné par les pires exemples du web
"Norman est né du fait que les données utilisées pour enseigner à un algorithme d'apprentissage automatisé peut avoir une influence significative sur son comportement", précisent les chercheurs du MIT.
Normalement, quand on apprend à une intelligence artificielle à légender une photo, on utilise une gigantesque base de données qui comporte deux éléments. Une photo ainsi que plusieurs mots pour la décrire, choisis par des humains. Par exemple, s'il y a un chat assis dans l'herbe sur une photo, la légende dit "un chat assis dans l'herbe". À force de voir des millions d'exemples, l'algorithme finit par savoir dire "il y a un chat" quand il voit un chat.
Norman, lui, a été entraîné avec des données bien particulières, provenant "de l'un des coins les plus sombres de Reddit", le site communautaire. Plus exactement, une communauté bien particulière spécialisée dans "la documentation et l'observation de la réalité troublante de la mort". Bref, un endroit où des photos de personnes décédées dans de nombreuses circonstances sont mises en lignes et commentées, un peu à l'instar du célèbre site Rotten.com.
Destination finale
Une fois Norman entraîné, les chercheurs lui ont montré les fameuses tâches du test de Rorschach et lui ont demandé de légender ces images. En parallèle, ils ont réalisé la même opération avec un algorithme entraîné avec des données classiques.
Voici le résultat:
Avec cet exemple parlant, les chercheurs du MIT attirent l'attention sur l'un des vrais dangers de l'intelligence artificielle, longuement évoqué dans le rapport Villani: le reflet de nos propres travers, de biais bien humains.
L'exemple est extrême ici, mais de vrais problèmes réels sont déjà visibles. "Par exemple, on a repéré que dans l'éducation, statistiquement, les enseignants passent plus de temps à s'occuper des jeunes garçons que des jeunes filles", nous expliquait Cédric Villani en mars. Le risque, si on ne voit pas ces biais et ne comprenons pas comment l'algorithme utilise ces données, c'est donc de créer un cercle vicieux qui aggrave nos propres travers bien humains.