Pour en finir avec le vrai-faux débat sur les « biais » de l’intelligence artificielle

Yann le Cun, chercheur-star en intelligence artificielle chez Facebook, s’illustrait récemment avec un tweet dans lequel il résumait une tribune de Sendhil Mullainathan au New-York Times : « Les gens sont biaisés. Les données sont biaisées parce que les gens sont biaisés. Les algorithmes entraînés sur des données biaisées sont biaisés. Mais les algorithmes auto-apprenants ne sont pas biaisés. Les biais dans les données peuvent être réparés. Les biais dans les gens sont plus difficiles à réparer. »  

Ces quelques mots remettent au goût du jour la vieille idée selon laquelle il existerait une intelligence artificielle pure et libérée de tous biais de traitement (eux-mêmes liés aux biais cognitifs de leurs concepteurs, ou à des choix intentionnels). N’y allons pas par quatre chemin, cette manière d’aborder les choses est trompeuse (pour ne pas dire biaisée). Explications.

Haro sur les biais

Les biais de l’intelligence artificielle, algorithmes et autres systèmes auto-apprenants sont bien réels. Dans leurs ouvrages Automating inequality how high-tech tools profile police and punish the poor et Weapons of Math desctruction, les chercheuses Virginia Eubanks et Cathy O’Neil ont expliqué comment certains algorithmes pouvaient reproduire et accentuer les inégalités sociales. Parmi les nombreux domaines concernés : l’attribution limitée de crédits bancaires à certaines populations, le racisme lors des recrutements, l’exclusion des demandes d’allocations sociales… Dans ce dernier cas, il est parfaitement clair que certains systèmes ont été conçus avant tout pour réduire le nombre d’allocataires, Eubanks écrit même : « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».

Dans sa tribune au New York Times, Sendhil Mullainathan explique que si les systèmes sont biaisés, c’est avant tout parce que les humains sont eux-mêmes biaisés (il ne semble pas tenir compte du fait que cela puisse être intentionnel, et donc politique). Exemple : un recrutement se fait rarement sans activer un biais racial, même si celui-ci n’est pas conscientisé. On sait qu’un CV au nom à consonance étrangère à moins de chances d’être retenu pour un entretien qu’un CV « bien de chez nous ». On sait également que les caméras équipées de systèmes de reconnaissance faciale détectent moins bien les visages noirs que les visages blancs, car les données qui ont permis leur entraînement contenaient plus de visages blancs. Pour Mullainathan, les biais humains, ancrés dans nos sociétés, sont difficiles à corriger. Cependant, ils peuvent selon lui être techniquement gommés. Il écrit qu’il « est bien plus facile de réparer une caméra qui n’enregistre pas la peau noire que de réparer un photographe qui ne sait pas prendre en photo des personnes noires. » C’est cet argument que reprend Yann le Cun qui en conclut que les sociétés humaines sont potentiellement bourrées de biais, mais que les machines peuvent les aplanir.

Les biais de l’IA : une diversion ?

Que l’on puisse détecter certains biais et ainsi les réduire est tout à fait souhaitable, et dans une certaine mesure possible. Mais cela ne rend pas pour autant les algorithmes purs. D’une part, on ne corrige que ce que l’on voit, or il y a fort à parier que nombre de systèmes reproduisent des biais encore invisibles pour un bon moment, peut être pour toujours. Globalement, on ne trouvera jamais ce qu’on ne cherche pas, et ce qu’on ne cherche pas est globalement ce qui nuit aux populations faisant déjà l’objet de discriminations. D’autre part, quand bien même nous pourrions lisser tous les biais possibles et imaginables (mais je le répète, c’est impossible), il reste que, une fois déployé, un système automatique produit des effets sur la société. Et ces effets ne sont jamais neutres. C’est l’idée qu’avaient développée Helen Nissenbaum et Julia Powles dans leur article The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence. Elles y rappelaient que concentrer le débat autour de la question des biais, c’est déjà l’orienter. Le cas de la reconnaissance faciale est éclairant : puisque les femmes noires sont moins bien reconnues, alors la solution consisterait à entrer plus de femmes noires dans la base de données pour l’améliorer, c’est-à-dire à élargir la masse de données captées, et donc à consolider un système de surveillance généralisée peu compatible avec les valeurs démocratiques.

La préoccupation pour les biais nous détournerait donc d’un débat de plus haut niveau que Nissenbaum et Powles résument en une question : devrions-nous construire ces systèmes tout court ? Si Facebook, Microsoft, Alphabet, Amazon et Apple focalisent l’attention sur les biais, c’est justement pour éviter d’avoir à poser cette question. Les autrices résument : « à la fin des fins, l’idée est toujours de « réparer l’IA », mais en aucun cas d’utiliser un autre système ou pas de système du tout ». C’est la conclusion à laquelle arrive également Cathy O’Neil à propos des systèmes de notation des enseignants dont elle illustre longuement l’absurdité et l’inefficacité. Dans son livre, elle invite tout simplement à abandonner ces algorithmes injustes ! En somme, il n’y aurait pas un cas où l’algorithme serait mal utilisé, et un autre cas où il serait pur, car le simple fait de l’utiliser produit en soi des effets. Nissenbaum et Powles nous interrogent donc : « quels systèmes méritent vraiment d’être construits ?  Qui est le mieux placé pour les construire ? Qui décide ? »

Pour le professeur de Droit Frank Pasquale, ces dernières questions relèvent de la « seconde vague » de la redevabilité algorithmique. Le chercheur explique que la première vague a permis de mettre au centre du jeu l’amélioration de systèmes biaisés (contre les noirs, les personnes âgées, les femmes, etc.). Ce qu’il appelle la seconde vague consiste à demander si nous devrions utiliser ces systèmes dans l’absolu, et qui en serait responsable. Dans l’absolu, devrait-on poursuivre des recherches dans le but de qualifier l’orientation sexuelle des individus à partir de la reconnaissance faciale ? Dans l’absolu, devrait-on autoriser les systèmes de reconnaissance d’état émotionnel pendant un recrutement ? Etc. Voilà qui nous ramène à une question plus ancienne : améliore-t-on quelque chose quand on l’automatise ? Pour y répondre, il convient de ne pas s’arrêter à la stricte observation de la machine, mais de prêter attention à ce qu’elle transforme. Et pour cela, il convient d’ouvrir des espaces pour que nous puissions en discuter. Nous avons aussi besoin de chercheurs qui se penchent sur ces transformations (de préférence avant qu’elles aient pu produire des effets négatifs).

Rien de très nouveau donc, ceci a déjà été dit ou écrit mille fois. Yann le Cun devrait peut-être seulement se rappeler qu’on ne « réparera » jamais l’IA de ses biais. Car rien n’est neutre, et surtout pas la neutralité.

NB : dans une tribune au New York Times, Our Brains Are No Match for Our Technology, Tristan Harris, ancien de Google et désormais « repenti » de la tech, affirme que nos cerveaux et nos instincts « du paléolithique » ne sont plus alignés avec le potentiel de la technologie (il parle de « godlike technology » : des technologies pour les Dieux…). Si ses conclusions ne sont pas totalement dénuées de sens (il appelle à une meilleure régulation), il semble oublier que la technologie n’« évolue » pas seule en parallèle de nos cerveaux, mais qu’elle est le fruit d’un contexte social particulier. En réduisant la cause de nos problèmes à cette seule dimension cérébrale, il individualise la question et oublie tout simplement d’interroger les structures sociales qui préjugent à l’édification de certaines technologies. Son analyse est donc vide de sens, incapable d’opérer une quelconque remise en cause des effets pervers d’un système capitaliste poussé à son extrême et devenu destructeur. Résultat : nous devons traiter « notre » addiction, surveiller « nos » élans panurgiques, en somme : trouver la solution « en nous-mêmes » : il ne manque pas grand chose pour ouvrir un énième cabinet de méditation. Comme l’écrivait le sociologue Antonio Casilli suite au Tweet de Yann le Cun : « c’est pas la faute à ma machine si l’usager dysfonctionne » ! Quand sortirons-nous de cet indécrottable individualisme ?

Irénée Régnauld (@maisouvaleweb)

Image en tête d’article, Bender « kiss my shiny metal ass ». Parce que.

Un sujet également traité par Hubert Guillaud pour InternetActu, voir son billet La seconde vague de la responsabilité algorithmique

13 comments

  1. J’aime beaucoup cet article, plein de jolies punchlines 😀

    Pour y contribuer, voilà souvent ce que je réponds quand le débat sur l’IA arrive inévitablement sur la question des biais > « On peut se poser la question à l’envers : que se passerait-il si les algo n’avaient vraiment aucun biais ? Le contrôle social et policier serait encore plus efficace et nocif, car bien plus précis. Les discriminations auraient encore plus d’effets. Peut être que les approximations des algo actuels sont une forme de protection temporaire. Si la police poursuit déjà les noirs en priorité, il vaut peut-être mieux que ses algo peinent à trop bien les identifier ».

    Ce n’est pas un propos très rigoureux, car il faudrait préciser de quel type d’algo on parle, et pour quel usage. On trouvera plein d’usages où ma réponse est un peu absurde. Mais je trouve que c’est une bonne astuce pour sortir rapidement du débat sur les biais – ça montre au moins qu’on peut en conclure tout est n’importe quoi et que ce n’est pas le débat intéressant.

    Reply
    • Si si, l’exemple est excellent. C’est exactement ça : être dépourvu de biais, c’est laisser toute sa place à l’efficacité. Donc : qu’est ce qu’un système de surveillance efficace ? Qu’est-ce qu’une police prédictive efficace ? Etc. Questions absurdes si elles arrivent en début de discussion, il y a bien d’autres pistes à ouvrir avant de foncer tête baissée dans ces solutions-là !

      Reply
      • Ah bah je ne lis que maintenant « The Seductive Diversion… » et réalise qu’elle reprend à peu prêt le même exemple que moi ^_^
        L’article est très chouette, mais il pointe encore et toujours la même limitation : on manque d’imaginaire politique pour condamner l’automatisation dans son ensemble et parler clairement de ce « monde meilleur sans IA ». L’article appelle d’ailleurs explicitement à construire cet imaginaire en conclusion 🙂
        Pour nous aider, toi ou nous autres allons souvent chercher dans la littérature universitaire et parfois un peu ancienne ces imaginaires politiques. C’est clairement utile, mais j’ai le sentiment qu’on est toutse encore un peu hésitantes/confus à transformer tout ça en belle doctrine politique bien explicite, claire et suffisamment concrète pour être politiquement mobilisante (contrairement à certains technocritisme que je trouve souvent trop abstraits pour être appropriable par toutes dans des discours politiques).
        Vivement qu’on se contente plus de simplement « questionner » mais qu’on puisse courageusement se mettre à aussi « affirmer » et « proposer ».
        Ça va prendre du temps, mais je suis convaincu qu’on y arrivera !

        Reply
  2. Pingback: Innovation-et-techno-en-debat | Pearltrees

  3. Pingback: Technologie-et-societe | Pearltrees

  4. Pingback: IA - technologie-innovation-et-societe | Pearltrees

  5. Pingback: Données et algorithmes | Pearltrees

  6. De toutes façons la correction des biais n’est pas toujours possible. Ajouter des images d’hommes et de femmes noirs pour apprendre à mieux les distinguer peut permettre de « corriger » le biais.
    A l’inverse, le biais rencontré lors de l’apprentissage d’une IA de recrutement de spécialistes dans le domaine de l’IA (ou de l’informatique quantique) ne peut être corrigé parce que les données en entrée sont majoritairement les CV d’hommes, plutôt blancs, plutôt jeunes et plutôt américains.
    Dans ce cas l’apprentissage ne peut se contenter de ce qui existe, il faut aussi compléter par ce qui « devrait » exister (des candidats noirs, des femmes….).
    L’idée est donc d’introduire un biais pour corriger le biais !

    Reply
    • Effectivement, c’est justement ce qu’on fait les auteurs de la tribune au NYT (en 1994 lors d’une expérience « manuelle ») :

      « We created a large bank of fictitious résumés and scraped help wanted ads every day. We faxed (yes, the study was that long ago) résumés for each job offer, and established phone numbers with voice mail. Then we waited for prospective employers to call back. »

      Ce qui n’est pas dit, c’est si ces CV se différenciaient juste des autres (CV aux patronymes à consonance non étrangère) juste par le nom, ou par d’autres caractéristiques. On semble préjuger que seul le nom change, or les discriminations se retrouvent aussi dans les écoles, dans les expériences professionnelles, dans les lieux de vie, etc.
      Pour aller encore plus loin dans votre sens, quand bien même on corrigerait ce biais de « nom » avec des CV fictifs (et nombreux pour un système de ML), il conviendrait aussi de corriger tous les autres biais sociaux que pourraient couver ce simple nom.

      Autant avoir une vraie politique sociale non ?

      Reply
  7. Pingback: Veille informationnelle | Pearltrees

  8. Les algorithmes sont le fruit de la créativité des humains. Ce n’est pas un algorithme a tué le jeu de Go, mais une équipe de matheux professionnels, bardés de diplômes, possédants des CV à 10 pages, qui exploitent la puissance de calcul et de mémorisation d’une technologie à la pointe du progrès technique.
    Derrière un algorithme, il y a toujours des humains aux manettes. Les communiquants ont la facheuse tendance à personnifier à outrance les algorithmes en les appelant par leur petit nom. Ce délire très science-fiction nous fait oublier que les algorithmes sont baptisés par des humains.
    Ce n’est pas l’IA qui change le monde… bon vous avez deviné c’est quiqui ; pas besoin d’en dire plus 🙂

    Reply
  9. Pingback: La justice algorithmique n'est pas une question technique | Mais où va le Web

  10. Le plus grand biais n’est il pas l’utilisation du terme « intelligence artificielle »? La définition de ce qu’est l’intelligence est immensément complexe, et évidemment pas arbitrée.

    Lorsque l’on parle d’algorithmique (aide à la décision, analyse d’image…) on peut utiliser le terme « Intelligence Artificielle » ce qui est un choix très commun. On pourrait cependant utiliser le terme « Inintelligence artificielle » ou bien « Stupidité artificielle » et bizarrement on se rend compte alors qu’on ne détériorerait en aucun cas la description de la chose observée !!

    En l’occurrence il s’agit ni plus ni moins que de programmes informatiques fondés sur une structure algorithmique, sur des agrégations statistiques et des variables d’entrée. Les sorties de ces programmes sont évidemment déterminables a priori, et, le fait qu’elles soient souvent trop complexes pour être expliquées en amont ne les rend pas moins déterministes.

    (Ce dernier point implique qu’il est alors incorrect de parler de biais pour des algorithmes car un biais suppose un écart à une normalité supposée. Cette normalité est en fait fantasmée par le producteur du programme, et renverse les choses. Ce que le programme produit, parce qu’on l’a construit ainsi devient biaisé par rapport à ce que l’on aimerait qu’il produise!)

    C’est ensuite que la mystification opère. En utilisant le vocable intelligence artificielle, on joue sur son ambiguïté: chacun l’interprète à niveau de ses connaissances et du degré de compréhension de ses algorithmes.
    – Les producteurs d’algorithmes (Facebook, Google, les Etats…) se dédouanent de leur responsabilité. La notion d’intelligence implique une autonomie de celle ci. Il créent également une fascination pour leurs créations.
    – Les citoyens attribuent à ces « intelligences artificielles » des caractéristiques non pas liées à la nature des algorithmes sous jacents, mais à ce qu’ils attribuent intuitivement au concept d’intelligence. Ils (directement en tant que citoyen ou par l’intermédiaire de leur représentant politique) ne cherchent alors plus à mettre en cause la responsabilité des premiers.

    J’ai moi même travaillé pour des entreprises « d’intelligence artificielle » (bref à la production de logiciels). Pris par le temps, la qualité de mes programmes pouvait diminuer, mais dieu merci la pirouette de l’intelligence artificielle qui n’en fait qu’à sa tête pouvait non seulement cacher mes insuffisances auprès des clients, mais aussi produire un effet « ohhhhhh » assez positif chez eux! Autant j’ai pas de scrupule à « bullshiter » un « project manager » d’AXA aux dents longues, autant je n’aime pas être bullshité en tant que citoyen par un grand ponte tel que Yann Le Cun (aussi brillant et talentueux soit il….)

    Reply

Répondre à Mais où va le Web Annuler la réponse

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *