La justice algorithmique n’est pas une question technique

Dans une tribune à Boston Review, Annette Zimmermann, Elena di Rosa et Hochan Kim défendent l’idée selon laquelle nous avons besoin d’une surveillance plus démocratique du développement de l’intelligence artificielle, et que celle-ci devrait s’ouvrir aux citoyens plutôt qu’être cantonnée aux développeurs et aux designers. Résumé, critiques.

Neutraliser les biais : ou comment réduire le débat

Le grand récit à propos de l’intelligence artificielle verse souvent dans les clichés : on assimile son développement à l’éveil d’un Golem animé d’une volonté propre, et contre lequel nous serions sommés de lutter dans un avenir proche. Pour Zimmermann, di Rosa et Kim, ces craintes – peut-être valables sur le très long terme – tendent à nous éloigner des véritables enjeux éthiques actuels que posent ces technologies pas si nouvelles. En effet, l’intelligence artificielle est déjà là : elle trie les étudiants et dirige leurs choix de scolarité, elle attribue les allocations sociales, aide les ressources humaines à recruter, la justice à trancher. Selon eux, chacun de ces choix d’automatisation mériterait une vigilance accrue de la part de la société civile.

En premier lieu, les auteurs expliquent que la mise en données progressive de nombreux pans de nos activités socio-économiques repose sur la croyance ferme qu’un système automatique est à la fois plus efficace, objectifs et neutre qu’un traitement humain, toujours sujet aux sautes d’humeur. On pourrait faire remonter cette indéfectible foi en la puissance de la machine aux premiers moments de la cybernétique – la science du gouvernement des hommes – qui a pu laisser penser qu’une société en « pilote automatique » (entendre : gérée par des machines) aiderait le genre humain à ne pas reproduire les effroyables conflits du vingtième siècle. C’était oublier un peu vite que derrière les machines, il y avait toujours des humains. Ces dernières années, de nombreux travaux en sciences humaines sont venus montrer que les intelligences artificielles étaient loin d’être neutres et qu’elles tendaient même à reproduire, voire à renforcer les inégalités sociales existantes : les fameux « biais algorithmiques ». C’est la thèse de Virginia Eubanks  dans Automating inequality how high-tech tools profile police and punish the poor ou encore celle de Cathy O’Neil dans Weapons of Math destruction.

Ce feu nourri de critiques a fait réagir les entreprises du secteur. Chez IBM par exemple, on convient que les biais algorithmiques exploseront, mais on rassure en expliquant que de nouveaux algorithmes viendront lisser les biais des anciens, jusqu’à obtenir une forme de « justice algorithmique » quasi-autorégulée. Pour améliorer la technologie, il faudrait donc plus de technologie. Cette approche est cependant loin de régler la question, rappellent les auteurs. Quand bien même nous arriverions à une forme de neutralité, les corpus de données qui permettent de nourrir les systèmes automatiques sont de toute façon biaisés et imprégnés des inégalités structurelles qui existent déjà dans la société. Neutralité n’est pas un synonyme de justice ! En conséquence, la quête d’algorithmes plus justes ne réside peut-être pas dans leur amélioration, mais dans le fait de décider de ne pas les déployer : « il doit y avoir certains systèmes d’apprentissage automatique qui ne devraient pas être déployés en premier lieu, peu importe jusqu’où nous pourrions les optimiser ». La police prédictive par exemple, fonctionne avec des données biaisées pour des raisons historiques : noirs et latinos y sont surreprésentés. Les algorithmes produisent donc naturellement une surveillance disproportionnée de ces populations. Peut-on neutraliser ces algorithmes, sachant que de toute façon, ils continuerait à apprendre via des données marquées par des décennies, voire des siècles d’injustices sociales ? Même scénario pour les algorithmes utilisés dans le domaine de la justice pour détecter les risques de récidive (et donc éventuellement alourdir les peines) : on sait qu’elles sont largement défavorables aux populations noires. Même en lissant les biais racistes (pour faire simple : les données liées à la couleur de peau), il existe de nombreuses autres données qui viendraient discriminer ces populations car « d’autres indicateurs socio-démographiques illustrent l’appartenance à la population noire » (c’est ce qu’on appelle un « encodage redondant »). Pour éviter cet effet, une solution peut être de réduire la quantité de données utilisée pour trancher. C’est ce qui a été fait au New Jersey, où on s’est contenté d’utiliser seulement l’historique d’arrestation, seulement comme les populations noires sont plus systématiquement confrontées à la police et arrêtées, le problème persiste…

Prêter attention au contexte social

Pour Zimmermann, di Rosa et Kim, rendre les algorithmes justes n’est pas suffisant. Dans le pire des cas, et comme cela a pu déjà être suggéré par des philosophes, des féministes, et de nombreux théoriciens spécialisés en discrimination raciale, le risque est de préserver un statu quo déjà injuste. Il convient donc d’aller plus loin et d’interroger les liens entre les systèmes d’intelligence artificielle et les configurations sociales et politiques existantes. Les auteurs résument : « Les développeurs ne peuvent pas seulement demander « que dois-je faire pour réparer mon algorithme ? ». Ils doivent plutôt demander « Comment mon algorithme interagit avec la société au sens large, et comment dans sa forme actuelle inclut-il des inégalités structurelles ? ». »

Les premières exigences à avoir, selon les auteurs, sont la transparence et la responsabilité des concepteurs. Une évidence, mais pas pour tout le monde : beaucoup sont encore convaincus qu’on ne fait pas d’omelettes sans casser quelques œufs : le développement technologique serait nécessairement pavé d’erreurs, d’injustice et d’accidents. Cependant, l’issue en vaudrait la peine.

On entend aussi très souvent que comme les intelligences artificielles sont des « boîtes noires » : elles moulinent tellement de données qu’il est devenu impossible de restituer l’ensemble de millions de petites micro-décisions qui ont amené à un résultat final. Une excuse peu convaincante pour les auteurs, qui rappellent que les systèmes algorithmiques sont entraînés à partir de données qui correspondent à des catégories ayant fait l’objet de choix bien humains : des catégories comme « individu à haut risque » ou « affecté par le diabète » ou encore « victime de viol » n’ont pas été créées par des IA, jusqu’à preuve du contraire. Ces exemples et bien d’autres sont pourtant au centre de tout un business chez les data-brokers. Il est donc impossible d’imaginer que ces choix sont exempts des influences liées au contexte socio-historique, et aux impératifs économiques. La mauvaise prédictibilité des IA est justement la raison pour laquelle il faut redoubler de vigilance, nous disent Zimmermann, di Rosa et Kim. Les choix qui préjugent à leur conception posent des questions avant tout morales, et pas techniques, et il est déjà possible de revenir dessus et de les infléchir. Nous devons nous défaire de l’idée selon laquelle nous serions impuissants face au fonctionnement opaque des intelligences artificielles, et c’est justement ce que les discours alarmistes tendent à nous faire croire.

Inclure la société dans les décisions algorithmiques

Au final, nous aurions besoin de processus publics et démocratiques afin de pouvoir contester les dimensions sociales, morales et politiques de la décision algorithmique. Cette grande discussion « ne doit pas juste inclure les développeurs et les designers, mais aussi le public au sens large », défendent les auteurs. Une exigence est d’autant plus forte que les outils aujourd’hui déployés viennent remplacer d’anciens systèmes qui étaient conçues plus démocratiquement (même si indirectement, par l’élection de représentants). Zimmermann, di Rosa et Kim s’inscrivent dans la « seconde vague de responsabilité algorithmique » que plébiscite Frank Pasquale qui posait plus concrètement les questions suivantes : « quels systèmes méritent vraiment d’être construits ?  Qui est le mieux placé pour les construire ? Qui décide ? ». De la même manière, Julia Powles et Helen Nissenbaum demandaient à ce que tout système qui intègre la vie des gens doit pouvoir être contesté, rendre des comptes et permettre des réparations en cas de problème et au nom de l’intérêt général.

De façon plus générale, les auteurs se demandent comment une démocratie peut gérer des systèmes algorithmiques, sachant qu’ils modifient en profondeur la société. En réponse à cette vieille question de « démocratie technique », la tribune étudie plusieurs propositions. La première consiste à ajouter de nouvelles institutions aux actuelles. C’est ce que propose le Think tank Doteveryone qui dans son rapport Regulating for Responsible Technology, appelait à la création d’une autorité indépendante (the Office for Responsible Technology) dont une des missions serait de permettre aux utilisateurs de pouvoir demander un recours quand ils subissent les mauvais effets d’une technologie. Une « FDA des algorithmes » a aussi fait l’objet de débats il y a quelques années. Le problème avec ces propositions nous disent les auteurs, c’est le timing. Ces institutions sont condamnées à courir après le développement technologique sans pouvoir l’infléchir. Elles interviendraient donc toujours une fois que les systèmes ont été déployés. Plus anecdotiquement, l’idée d’un serment d’Hippocrate pour les développeurs revient souvent (en fait, il existe déjà – le serment d’Archimède – tout comme il existe un code déontologique pour les designers, la plupart ne le connaissent pas).

L’autre solution que plébiscitée dans la tribune consiste à mettre les questions algorithmiques à l’agenda démocratique, avant leur déploiement, et c’est louable. C’est ce qu’a fait San Francisco, où le « board of supervisors » (le conseil municipal) a prononcé l’interdiction de la reconnaissance faciale en mai 2019. En fait, ce sont aussi les campagnes d’associations comme The Civil rights groups, The American Civil Liberties Union et l’Electronic Frontier Foundation qui ont permis cette mise à l’agenda et ce vote. Pour Zimmermann, di Rosa et Kim, ce modèle démocratique « bottom-up » doit être déployé dans d’autres communautés : « une surveillance accrue des développements de l’intelligence artificielle est aujourd’hui possible. Plutôt que d’attendre des concepteurs qu’ils fassent de l’IA éthique par eux-mêmes, nous, le public, devrions être inclus dans les décisions sur la légitimité d’un déploiement de l’IA, et ses fins. »

Il faut aller plus loin

Posons-nous à présent sur les arguments qui viennent d’être exposés, que je partage en grande partie mais qui me semblent tout de même emprunts d’une certaine naïveté.

Nous savons parfaitement que les algorithmes ne sont pas neutres. Cela a été documenté, et revêt maintenant un caractère quasi objectif. Concrètement, cela signifie également qu’un politique qui déploie un système nocif aujourd’hui ne pourra plus dire « je ne savais pas » au moment d’en constater les dégâts.

Cela étant, si la « mise à l’agenda » des questions technologiques est nécessaire, elle est très loin d’être suffisante. Et ce pour au moins trois raisons :

La « mise à l’agenda démocratique » n’exclut pas les divergences politiques

Premièrement, rien ne dit que cette mise à l’agenda ne garantisse qu’on obtienne les « bons résultats » – tout simplement parce qu’on ne peut pas préjuger de ce qu’une décision démocratique produira. Dans le cas de San Francisco, le conseil municipal a certes voté contre l’usage de la reconnaissance faciale par la police. Mais San Francisco est aussi la ville qui est aux avant-postes des excès de la Silicon Valley, ce qui en fait un endroit particulièrement propice à la régulation de ces mêmes excès, aussi paradoxal que celui puisse paraître. A l’inverse, de multiples villes aux Etats-Unis se sont prononcées en faveur de la reconnaissance faciale. En France, le Maire est élu par le conseil municipal : qui peut imaginer qu’un Christian Estrosi, Maire de Nice, se fasse retoquer par son conseil sur le sujet des caméras de surveillance à reconnaissance faciale, alors même qu’il a été choisi pour ses « ambitions sécuritaires » (dixit Christophe Castaner) ? En d’autres termes, la « mise à l’agenda démocratique » et ses fruits dépendent de qui gouverne, et avec quel programme. La droite étant traditionnellement affiliée aux sujets sécuritaires, quand bien même elle mettrait à l’agenda les sujets technologiques qui ne le sont pas encore, les résultats ne seraient pas au rendez-vous (de la gauche ?). On peut tout à fait prendre de « mauvaises décisions » démocratiquement, c’est une question de point de vue. Ce problème est à mon sens lié à une erreur des auteurs qui assimilent ce mécanisme de « mise à l’agenda » à une forme d’ouverture supplémentaire aux citoyens dont on pourrait attendre des décisions pures et désintéressées (notamment des intérêts industriels). Ce n’est pas le cas : les conseils municipaux existent déjà, tout ce qui est proposé ici est de leur donner à réfléchir aux sujets technologiques, pas à en revoir la représentativité. Je termine cette remarque en précisant tout de même que la « mise à l’agenda démocratique » est bien évidemment nécessaire. Pensons aux sorties d’Alexandria Ocasio Cortez ou Bernie Sanders à propos de la reconnaissance faciale, ou encore du démantèlement des GAFAS : on ne peut que s’en féliciter. Cependant, si ce dernier sujet commence à faire consensus, de nombreux autres se répartiront naturellement sur l’échiquier politique, comme c’est le cas avec d’autres domaines de la vie publique.

Pas de démocratie sans révision du système démocratique

Un deuxième problème à mon sens, consiste à opposer cette « mise à l’agenda » des questions technologiques (à l’intérieur d’un système démocratique inchangé) à la « révision des procédures démocratiques et des institutions » à proprement parler. Pour les auteurs, cette révision des procédures et des institutions – résumées dans le texte à la création d’un nouveau ministère ou à de nouvelles lois de protection des consommateurs – sera inefficace puisque condamnée à courir après le développement technologique. Or en réduisant cette révision des procédures démocratiques à quelques exemples mal choisis, les auteurs oublient justement que cette révision pourrait également se traduire par l’ouverture de plus d’espaces démocratiques (sous forme de convention de citoyens, de conseils de quartiers ou toute autre réunion permettant de prendre une décision à l’échelle pertinente – celle où l’algorithme produit des effets par exemple). C’est plus ou moins ce qui est en train de se passer en France, ou la démocratie participative connaît un nouveau souffle. Il convient à cet endroit de ne pas être naïf : la mobilisation des citoyens ne doit pas être cantonnée à des effets de mode. La façon dont on mobilise les publics et dont on architecture les consultations est également centrale (voir à ce titre les méthodes dites « Society in the loop » (SITL) intéressantes sur le papier, bien qu’en réalité je n’en ai pas vu d’illustration réelle et concrète).

Par ailleurs, il n’y aura pas plus de « démocratie » sans réelle réforme constitutionnelle – c’est mon avis. Ce qui compte, ce n’est pas de mobiliser les citoyens, ni même de leur demander leur avis (pour produire de « l’acceptabilité sociale » comme on dit), mais bien de leur donner du pouvoir. Les auteurs font rapidement mention des budgets participatifs, c’est en effet dans ce sens qu’il faut aller – il faut surtout les pérenniser et graver dans le marbre leur fonctionnement.

Nous avons besoin de critiquer la technologie

Enfin, on ne peut pas faire l’économie d’une véritable critique des affordances technologiques. Par affordance, on entend la capacité qu’a une technologie a à transformer la société. Sans céder au déterminisme technique, il s’agit de convenir que certaines technologies peuvent encourager certains comportements et usages. Le fait de se savoir reconnu par une caméra dans la rue par exemple, n’incite pas à manifester. Or le droit de manifester est essentiel en démocratie. Quand bien même nous aurions toutes les procédures « réellement » démocratiques à même de démocratiser la technologie (des ingénieurs éthiques pour la conception, des citoyens et des élus informés lors de la diffusion, etc.), rien ne dit que nous prendrions les bonnes décisions. Encore faut-il pouvoir comprendre ce qu’une technologie fait à la démocratie et fait à la société. C’est là toute l’ambiguïté : la CNIL a le pouvoir d’interdire une expérimentation de reconnaissance faciale dans des Lycées du PACA au nom de la loi (et du caractère inutile et disproportionné du système, au regard du RGPD), mais est incapable d’interdire un test grandeur nature (plébiscité par Cédric O) de cette même technologie dans l’espace public ! Il lui manque cette capacité à dire – et je l’exprime ici très grossièrement – que certaines technologies sont incompatibles avec la démocratie. Une affirmation qui philosophiquement, nous éloigne du droit.

En outre, la reconnaissance faciale est une technologie plutôt simple à appréhender, on en comprend globalement les contours. Nous disposons déjà d’un certain nombre d’études sur la vidéosurveillance : nous pouvons donc faire des analogies de l’une vers l’autre. Or de nombreux systèmes sont beaucoup moins évidents à qualifier en terme de coût et bénéfice. Il est donc beaucoup plus difficile de préjuger de leur inutilité ou de leur dangerosité a priori. Il faut pouvoir les décortiquer, et « ouvrir les boîtes noires », c’est-à-dire soumettre les entreprises aux exigences de transparence de la démocratie. Comme l’expliquait Hubert Guillaud, c’est loin d’être acquis. A New York par exemple, « le conseil municipal n’a même pas réussi à avoir accès aux informations de base sur les systèmes de traitement automatisés déjà utilisés par la ville ». Cependant, convenons que l’on puisse obtenir assez de transparence pour comprendre les systèmes (c’est-à-dire à se les faire expliquer, c’est-à-dire à penser à les expliquer lorsqu’on les conçoit), il reste qu’on ne tirera pas tous les mêmes conclusions de ces explications car nous ne partageons pas tous les mêmes sensibilités sociales. On sait par exemple qu’une bonne part des allocataires du RSA ne le touchent pas – parce qu’ils ne l’ont tout simplement pas demandé : il y en a que ça dérange et d’autres que ça arrange. Je peux toujours expliquer à untel que la vidéosurveillance est non seulement inutile mais également discriminante, on pourra me rétorquer que c’est comme ça et pas autrement. C’est ce que font Christian Estrosi et Cédric O quand ils déploient ces systèmes de manière tout à fait décomplexée, en expliquant qu’ils sont à la fois utiles pour les citoyens et pour nos industriels.

A ce stade, on comprend que l’on tourne en rond, et c’est normal. Pour aller vers plus de justice algorithmique, il ne suffit pas de mettre le sujet « à l’agenda démocratique », encore faut-il avoir une démocratie vivante. Aujourd’hui, tout peut être amélioré : l’éthique des ingénieurs, la transparence des entreprises qui se cachent derrière le secret des affaires, le rôle de la CNIL dont les pouvoirs sont sans cesses rabotés, la vitalité des associations, la présence des journalistes d’investigation, le comportement des consommateurs, etc. Il n’y a pas de formule magique.

Irénée Régnauld (@maisouvaleweb), pour lire mon livre c’est par là, et pour me soutenir, par ici.