Pour en finir avec le vrai-faux débat sur les « biais » de l’intelligence artificielle

Yann le Cun, chercheur-star en intelligence artificielle chez Facebook, s’illustrait récemment avec un tweet dans lequel il résumait une tribune de Sendhil Mullainathan au New-York Times : « Les gens sont biaisés. Les données sont biaisées parce que les gens sont biaisés. Les algorithmes entraînés sur des données biaisées sont biaisés. Mais les algorithmes auto-apprenants ne sont pas biaisés. Les biais dans les données peuvent être réparés. Les biais dans les gens sont plus difficiles à réparer. »  

Ces quelques mots remettent au goût du jour la vieille idée selon laquelle il existerait une intelligence artificielle pure et libérée de tous biais de traitement (eux-mêmes liés aux biais cognitifs de leurs concepteurs, ou à des choix intentionnels). N’y allons pas par quatre chemin, cette manière d’aborder les choses est trompeuse (pour ne pas dire biaisée). Explications.

Haro sur les biais de l’IA

Les biais de l’intelligence artificielle, algorithmes et autres systèmes auto-apprenants sont bien réels. Dans leurs ouvrages Automating inequality how high-tech tools profile police and punish the poor et Weapons of Math desctruction, les chercheuses Virginia Eubanks et Cathy O’Neil ont expliqué comment certains algorithmes pouvaient reproduire et accentuer les inégalités sociales. Parmi les nombreux domaines concernés : l’attribution limitée de crédits bancaires à certaines populations, le racisme lors des recrutements, l’exclusion des demandes d’allocations sociales… Dans ce dernier cas, il est parfaitement clair que certains systèmes ont été conçus avant tout pour réduire le nombre d’allocataires, Eubanks écrit même : « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».

Dans sa tribune au New York Times, Sendhil Mullainathan explique que si les systèmes sont biaisés, c’est avant tout parce que les humains sont eux-mêmes biaisés (il ne semble pas tenir compte du fait que cela puisse être intentionnel, et donc politique). Exemple : un recrutement se fait rarement sans activer un biais racial, même si celui-ci n’est pas conscientisé. On sait qu’un CV au nom à consonance étrangère à moins de chances d’être retenu pour un entretien qu’un CV « bien de chez nous ». On sait également que les caméras équipées de systèmes de reconnaissance faciale détectent moins bien les visages noirs que les visages blancs, car les données qui ont permis leur entraînement contenaient plus de visages blancs. Pour Mullainathan, les biais humains, ancrés dans nos sociétés, sont difficiles à corriger. Cependant, ils peuvent selon lui être techniquement gommés. Il écrit qu’il « est bien plus facile de réparer une caméra qui n’enregistre pas la peau noire que de réparer un photographe qui ne sait pas prendre en photo des personnes noires. » C’est cet argument que reprend Yann le Cun qui en conclut que les sociétés humaines sont potentiellement bourrées de biais, mais que les machines peuvent les aplanir.

Les biais de l’IA : une diversion ?

Que l’on puisse détecter certains biais et ainsi les réduire est tout à fait souhaitable, et dans une certaine mesure possible. Mais cela ne rend pas pour autant les algorithmes purs. D’une part, on ne corrige que ce que l’on voit, or il y a fort à parier que nombre de systèmes reproduisent des biais encore invisibles pour un bon moment, peut être pour toujours. Globalement, on ne trouvera jamais ce qu’on ne cherche pas, et ce qu’on ne cherche pas est globalement ce qui nuit aux populations faisant déjà l’objet de discriminations. D’autre part, quand bien même nous pourrions lisser tous les biais possibles et imaginables (mais je le répète, c’est impossible), il reste que, une fois déployé, un système automatique produit des effets sur la société. Et ces effets ne sont jamais neutres. C’est l’idée qu’avaient développée Helen Nissenbaum et Julia Powles dans leur article The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence. Elles y rappelaient que concentrer le débat autour de la question des biais, c’est déjà l’orienter. Le cas de la reconnaissance faciale est éclairant : puisque les femmes noires sont moins bien reconnues, alors la solution consisterait à entrer plus de femmes noires dans la base de données pour l’améliorer, c’est-à-dire à élargir la masse de données captées, et donc à consolider un système de surveillance généralisée peu compatible avec les valeurs démocratiques.

La préoccupation pour les biais nous détournerait donc d’un débat de plus haut niveau que Nissenbaum et Powles résument en une question : devrions-nous construire ces systèmes tout court ? Si Facebook, Microsoft, Alphabet, Amazon et Apple focalisent l’attention sur les biais, c’est justement pour éviter d’avoir à poser cette question. Les autrices résument : « à la fin des fins, l’idée est toujours de « réparer l’IA », mais en aucun cas d’utiliser un autre système ou pas de système du tout ». C’est la conclusion à laquelle arrive également Cathy O’Neil à propos des systèmes de notation des enseignants dont elle illustre longuement l’absurdité et l’inefficacité. Dans son livre, elle invite tout simplement à abandonner ces algorithmes injustes ! En somme, il n’y aurait pas un cas où l’algorithme serait mal utilisé, et un autre cas où il serait pur, car le simple fait de l’utiliser produit en soi des effets. Nissenbaum et Powles nous interrogent donc : « quels systèmes méritent vraiment d’être construits ?  Qui est le mieux placé pour les construire ? Qui décide ? »

Pour le professeur de Droit Frank Pasquale, ces dernières questions relèvent de la « seconde vague » de la redevabilité algorithmique. Le chercheur explique que la première vague a permis de mettre au centre du jeu l’amélioration de systèmes biaisés (contre les noirs, les personnes âgées, les femmes, etc.). Ce qu’il appelle la seconde vague consiste à demander si nous devrions utiliser ces systèmes dans l’absolu, et qui en serait responsable. Dans l’absolu, devrait-on poursuivre des recherches dans le but de qualifier l’orientation sexuelle des individus à partir de la reconnaissance faciale ? Dans l’absolu, devrait-on autoriser les systèmes de reconnaissance d’état émotionnel pendant un recrutement ? Etc. Voilà qui nous ramène à une question plus ancienne : améliore-t-on quelque chose quand on l’automatise ? Pour y répondre, il convient de ne pas s’arrêter à la stricte observation de la machine, mais de prêter attention à ce qu’elle transforme. Et pour cela, il convient d’ouvrir des espaces pour que nous puissions en discuter. Nous avons aussi besoin de chercheurs qui se penchent sur ces transformations (de préférence avant qu’elles aient pu produire des effets négatifs).

Rien de très nouveau donc, ceci a déjà été dit ou écrit mille fois. Yann le Cun devrait peut-être seulement se rappeler qu’on ne « réparera » jamais l’IA de ses biais. Car rien n’est neutre, et surtout pas la neutralité.

NB : dans une tribune au New York Times, Our Brains Are No Match for Our Technology, Tristan Harris, ancien de Google et désormais « repenti » de la tech, affirme que nos cerveaux et nos instincts « du paléolithique » ne sont plus alignés avec le potentiel de la technologie (il parle de « godlike technology » : des technologies pour les Dieux…). Si ses conclusions ne sont pas totalement dénuées de sens (il appelle à une meilleure régulation), il semble oublier que la technologie n’« évolue » pas seule en parallèle de nos cerveaux, mais qu’elle est le fruit d’un contexte social particulier. En réduisant la cause de nos problèmes à cette seule dimension cérébrale, il individualise la question et oublie tout simplement d’interroger les structures sociales qui préjugent à l’édification de certaines technologies. Son analyse est donc vide de sens, incapable d’opérer une quelconque remise en cause des effets pervers d’un système capitaliste poussé à son extrême et devenu destructeur. Résultat : nous devons traiter « notre » addiction, surveiller « nos » élans panurgiques, en somme : trouver la solution « en nous-mêmes » : il ne manque pas grand chose pour ouvrir un énième cabinet de méditation. Comme l’écrivait le sociologue Antonio Casilli suite au Tweet de Yann le Cun : « c’est pas la faute à ma machine si l’usager dysfonctionne » ! Quand sortirons-nous de cet indécrottable individualisme ?

Irénée Régnauld (@maisouvaleweb), pour lire mon livre c’est par là, et pour me soutenir, par ici.

Image en tête d’article, Bender « kiss my shiny metal ass ». Parce que.

Un sujet également traité par Hubert Guillaud pour InternetActu, voir son billet La seconde vague de la responsabilité algorithmique