La performance peut-elle être une fin en soi ?

Dans une récente interview pour Wired, Tom Simonite (@tsimonite) interviewait Geoff Hinton, « gourou de l’IA chez Google ». Lors de cet entretien plutôt bref, le scientifique affirme qu’il serait désastreux d’attendre des intelligences artificielles qu’elles puissent expliquer leurs décisions, alors même que leur grande opacité est sous le feu de nombreuses critiques.

Les IA sont partout. Dans les voitures autonomes pour « voir » la route, à l’intérieur des entreprises pour recruter de nouveaux talents, « matcher » deux profils sur Tinder ou encore accorder ou refuser un prêt bancaire à un particulier. Ces systèmes prennent des décisions à la place des humains en captant un maximum de données, lesquelles viennent alimenter des algorithmes auto-apprenants (on parle alors d’apprentissage automatique – ou statistique – mais il existe de nombreuses autres méthodes pour faire de l’intelligence artificielle). Plus récemment, des IA ont été utilisées pour décider de l’attribution des allocations sociales ou de l’affectation des bacheliers à un cursus dans le supérieur, via l’algorithme Admission Post-Bac (APB).

Ces systèmes sont des boîtes noires. En cause notamment la masse de données qu’ils brassent et les nombreux calculs statistiques qui en découlent. Reconstruire le chemin qu’a emprunté un algorithme pour arriver à telle ou telle décision peut être long et fastidieux : ces processus de décision ressemblent plus à des jeux de loterie qu’à des concertations rationnelles au sens humain du terme. Ce qui ne les empêche pas d’être très fiables : la reconnaissance d’images avance à pas de géant, tout comme la traduction automatique.

Mais lorsque ces systèmes touchent à des questions politiques comme le partage des richesses ou l’attribution d’une place dans la société, ils peuvent susciter des controverses. Je ne m’y immiscerai pas de nouveau, cela a déjà été fait ici ou là. Rappelons juste que ces controverses aboutissent à la conclusion suivante : il est temps de demander aux systèmes algorithmiques d’être en mesure de justifier leur décisions, d’être transparents et disponibles pour l’inspection (on parle alors de redevabilité, de loyauté, de responsabilité et même d’éthique des algorithmes).

Si demain un algorithme me refuse une allocation ou un prêt bancaire, je dois savoir au nom de quoi. Ce qui demande à interroger le fonctionnement de l’algorithme et le type de données qui ont été collectées en entrée (lesquelles sont souvent à l’origine des différents biais que l’algorithme (re)produit). Si cela paraît censé d’un point de vue éthique, Geoff Hinton nous dit tout l’inverse ! Selon lui, « la boîte noire ne doit pas être régulée, les IA ne doivent avoir qu’une seule régulation : la performance ». Comme le surligne le journaliste Thomas Gouritin sur Twitter, voilà une affirmation bien « lunaire ».

Pourquoi est-il problématique de tout miser sur la performance ? Commençons par définir le terme : est performant ce qui permet d’arriver à un objectif de la façon la plus efficace, c’est-à-dire avec le meilleur rapport entre les ressources disponibles et le résultat attendu. Mais la performance et l’efficacité ne sont pas des critères suffisants pour accepter qu’une technologie se diffuse, notamment parce que ces notions ne sont pas objectives, elles se réfèrent à des systèmes de valeurs ! 

Illustrons : si on mesure la performance par la vitesse, alors pour aller d’un point A à un point B, on inventera le moyen de transport le plus rapide. Or on le sait, ce qui est performant à un endroit peut réduire la performance à un autre endroit. Une voiture est performante pour aller vite, mais moins performante sur d’autres plans : elle provoque l’étalement urbain, pollue, etc.[1] Bref, les nuisances sont délocalisées. Quant à la vitesse, on conviendra qu’elle n’est pas une valeur universelle[2], comme l’illustre la fable du pêcheur.

Autre exemple : le mail. Google a récemment lancé l’automatisation des réponses aux emails. Le service Gmail propose dorénavant des réponses pré-rédigées pour gagner du temps. A proprement parler, cela augmente la performance pour répondre aux mails, et seulement pour répondre aux mails. Mais quel est l’effet à plus long terme sur le nombre de mails envoyés ou reçus ? Dans une récente tribune au New York Times You Already Email Like a Robot — Why Not Automate It?, le journaliste John Herrman concluait de la manière suivante : « concernant l’automatisation des emails, ce dont nous pouvons être sûrs est que cela augmentera leur usage global ». Alors même que tout le monde semble se plaindre du trop-de-mails ! Moralité : ce qui est efficace est ce qui permet d’atteindre un objectif, mais si on programme une machine dans le but d’atteindre cet objectif, on obtiendra cet objectif et rien d’autre. Répondre plus vite aux mails ne dit pas qu’on ne finira pas par en écrire plus !

Dans son ouvrage God & Golem, sur quelques points de collusion entre cybernétique et religion, le mathématicien Norbert Wiener, inventeur de la cybernétique, illustrait de ce phénomène avec une nouvelle d’horreur, La patte du singe. L’histoire reprend la configuration des trois souhaits à exaucer. Lors d’un dîner bourgeois, un général revenant des Indes explique que la patte de singe qu’il possède permet d’exaucer trois vœux, mais que ceux-ci ont des conséquences tragiques. Faisant fi de ses alertes, les hôtes décident de formuler un premier vœu et demandent deux cent livres à la patte de singe. Quelques minutes plus tard, on frappe à la porte. Un homme très solennel leur explique que leur fils est mort à l’usine, et leur donne une compensation de deux cent livres. La mère formule un deuxième vœu : que leur fils revienne. Mais celui-ci revient sous forme d’esprit. L’histoire se termine quand ils font un troisième vœu pour que le revenant disparaisse. Norbert Wiener nous avertit du risque qu’il y a à croire que les machines peuvent tout résoudre comme par magie : « Le danger provient du fait que la réalisation d’une action magique est une affaire singulièrement littérale, et que si quelque chose vous échoit en tant que demandeur c’est exactement ce que vous avez demandé, et non pas ce que vous auriez dû demander ou ce que vous vouliez dire ». Rapportée à un système comme APB, ou à un algorithme qui prétend décider en toute objectivité qui relâcher ou non de prison, cette histoire a de quoi vous faire mouliner un moment. Pour le dire simplement, remplacer un processus humain par un processus algorithmique ne revient pas à en faire une simple mise à jour. Et considérer la performance comme l’unique mesure de l’utilité d’un système revient littéralement à passer à côté de tout un tas d’autres sujets et d’effets inattendus.

Dans ses réponses au journaliste, Geoff Hinton soulève un autre problème. Il affirme que demander à une IA de se justifier est inutile, dans la mesure on l’on ne demande pas à un humain de se justifier dans des circonstances équivalentes. Il prend pour exemple le recrutement : « quand vous embauchez quelqu’un, votre décision est basée sur un tas de choses que nous ne pouvez pas quantifier, et sur toutes sortes de sentiments ». En effet, pourquoi demander à une machine ce qu’on ne demande pas à un humain ?

Ce que fait ici Geoff Hinton, c’est mettre sur le même plan une décision humaine et une décision provenant d’une machine. Mais cette comparaison a une limite : seul un être humain peut être tenu responsable de ses actes. On ne peut pas juger une machine. On objectera, certes, que l’on peut toujours juger le concepteur, mais dans la réalité c’est impossible car trop complexe. Restons en compagnie de Norbert Wiener, qui nous livrait à cet endroit une analyse intéressante. Dans God & Golem toujours, l’homme se faisait très critique envers ceux qu’il nommait les « adorateurs de gadgets » qu’il accusait de vouloir « éviter toute responsabilité personnelle face à une décision dangereuse ou désastreuse, en déplaçant cette responsabilité ailleurs : sur le hasard ou bien sur un appareil mécanique qu’on ne peut pleinement comprendre mais qui manifeste une objectivité présumée ». Et il ajoute « C’est ce genre de circonstances qui pousse les naufragés à s’en remettre au tirage au sort pour déterminer lequel d’entre eux sera mangé ». C’est à peu près ce que fait Geoff Hinton et tous ceux qui diluent la responsabilité dans un mécanisme incompréhensible.

Geoff Hinton illustre son propos avec un autre cas, celui de la voiture autonome. Il déclare qu’on peut se passer de comprendre comment elle prend ses décisions du moment qu’elle permet de réduire le nombre de morts sur les routes. C’est une évidence : on préfèrera aussi voler dans un avion qui ne s’écrase pas, même si l’on doit abandonner toute connaissance de son fonctionnement. Dès que l’on touche à la vie, ces arguments nous percutent, voire prennent en otage la discussion. Mais gardons à l’esprit qu’il y aura toujours des cas (accidents et accidents mortels) qui demanderont à ce que l’on puisse évaluer une responsabilité !

Là où Geoff Hinton dit vrai, c’est que nous sommes tous enclins à nous confier à des mécanismes sans les comprendre, du moment qu’ils sont en mesure de nous protéger, d’où l’exemple de la voiture autonome et de l’avion. Mais les intelligences artificielles concernent tous les champs de l’existence – en dehors des questions de vie ou de mort – comme nous l’évoquions au début de cet article. Si elles sont amenées, comme on le lit partout, à se diffuser dans le quotidien pour nous classer, nous trier, nous conseiller, nous ouvrir ou nous fermer des portes, nous accorder ou nous retirer des droits, alors il est impératif que nous puissions comprendre comment elles fonctionnent. La société n’est pas une voiture autonome. La société n’est pas un avion. Et bien malin celui qui pourra dire ce qu’est une société « performante ».

Ouvrons les boîtes noires !

[1] « L’habitude de nos penseurs modernes, qui séparent l’objet de son contexte, consiste à établir la liste des qualités qui rendent un outil plus efficace qu’un autre sur une base arbitraire et, d’une certaine manière, tout à fait perverse parce que reliée à sa fonctionnalité apparente » Dans Fragilité de la puissance, se libérer de l’emprise technologique, Alain Gras, 2003.

[2] Dans certains cas bien sûr, les externalités négatives étaient synonymes de succès, comme par exemple les fumées des usines au charbon qui signifiaient la puissance industrielle d’un pays.

Mais où va le Web

Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.