Le philosophe des sciences Maël Pégny publie « Éthique des algorithmes et de l’Intelligence artificielle » (Vrin, 2024), un ouvrage solide qui replace l’algorithmisation dans l’histoire longue de la bureaucratisation. L’approche d’épistémologie historique de Pégny a le grand intérêt de relier les descriptions théoriques aux applications pratiques, s’appuyant sur de récentes controverses algorithmiques telles que Parcousup, COMPAS et de manière générale, la surveillance ubiquitaire que permet notamment la reconnaissance faciale en temps réel. Technique et fouillé, l’ouvrage de Maël Pégny constitue sans nul doute une référence pour approcher les conflits éthiques à l’œuvre dans le domaine de l’intelligence artificielle. Quelques grandes lignes.
Faux débats et précautions d’usage
L’éthique de l’intelligence artificielle, commence Pégny, fait l’objet de nombreuses discussions à travers un choix sémantique (l’éthique) qui s’est imposé, probablement parce qu’il est moins conflictuel que ce qu’il recouvre, à savoir essentiellement des questions politiques et juridiques. Dans le détail, le déploiement des « intelligences artificielles » (autre choix sémantique discuté plus loin dans l’ouvrage), provoque des situations d’inconfort social, des injustices, des dégâts environnementaux ou pose simplement des questions qui ne se posaient pas avant, ou de manière différente. De ce point de vue, l’éthique est à inscrire dans une tradition plus ancienne de responsabilité industrielle d’une part, et dans la pensée critique de la bureaucratie de l’autre, le véritable apport de l’ouvrage.
Avant d’entrer dans le vif du sujet, Pégny se livre à quelques précautions, mentionnant en premier lieu les débats dont il ne sera pas question dans son livre. Car l’éthique au sens large a les défauts de ses qualités, et oriente trop souvent, des « risques existentiels » aux craintes d’atteindre la « singularité technologique » vers des questions subalternes qui ne se posent pas vraiment. Aux mythologies, il faut opposer « une analyse historique et philosophique de la manière dont on délimite les territoires respectifs du technique et du social » (p. 17), écrit l’auteur, qui donne sinon une définition, un rôle à l’éthique, celui « d’être pertinente pour les problèmes auxquels nous faisons face aujourd’hui : il n’est pas très utile de se lancer de nos jours dans la critique de la monarchie absolue, ou de s’interroger sur les enjeux moraux du voyage interstellaire » (p. 26).
Racines bureaucratiques
L’usage contemporain des algorithmes (l’algorithmisation), mérite donc une approche historique, et démarre avec une hypothèse de départ pour le chercheur : l’algorithmisation est un moment de la bureaucratisation, ce qu’il nomme « l’hypothèse de long terme », dans un premier chapitre qui donne en synthèse les éléments saillants de cette histoire. Pégny revient sur la conception wébérienne de la bureaucratie et sa raison d’être : lutter contre deux autres formes de domination que sont la domination charismatique et la domination traditionnelle. La bureaucratie, selon Weber, y oppose la dépersonnalisation du pouvoir et le règne de la règle. Il s’agit en définitive de dépassionner les affaires humaines pour les rationaliser (ou prétendre les rationaliser). Cette quête de rationalité est justement ce qui est évoqué dans les récits qui légitiment l’algorithmisation, contre les failles de la subjectivité humaine. Car les deux mouvements (bureaucratie et mécanisation) vont en réalité de pair : ils subissent d’ailleurs les mêmes critiques puisqu’ils permettent tout à la fois de faire fonctionner un monde moderne largement massifié, mais en concentrant les pouvoirs.
De la même manière, alors que les machines permettent de rendre prévisible le fruit de leur action, la bureaucratie elle, « tend à former des sujets prévisibles » (P. 49). Cette dernière n’enferme toutefois pas les individus dans leurs rôles : toute règle doit pouvoir être interprétée (par exemple, par un juge). Enfin, rappelle l’auteur, la bureaucratie n’entretient aucun lien de nécessité avec la démocratie : elle s’accommode finalement parfaitement des systèmes de domination charismatiques, voire autoritaires, ceux qu’elle prétend justement combattre. L’algorithmisation quant à elle, lui emprunte tout un vocabulaire (programmes, procédures), et les grandes entreprises comme Google ou Facebook, écrit Pégny, doivent être analysées à l’aune de cette histoire, car elles constituent bien « de nouvelles entités politiques et administratives dont le pouvoir doit être pensé à l’aune de l’histoire des appareils bureaucratiques ayant exercé des fonctions similaires. » (p. 40).
Explicabilité et transparence
L’un des reproches usuellement fait à l’intelligence artificielle est son opacité. Cela est particulièrement vrai pour les systèmes dit d’apprentissage machine, et ses fameuses « boîtes noires » aux fonctionnements encore largement inaccessibles, produisant des décisions biaisées à intervalle régulier. Bien qu’arrêté pour faciliter la lecture, le choix des termes est discuté dans l’ouvrage avec pédagogie. L’auteur dresse ainsi les différences entre ce qui relève de l’algorithme (une idée scientifique plutôt abstraite, sans définition mathématique), ou du programme. Il faut à cet égard tempérer leur complexité et prendre de la distance avec leur puissance supposé (« présomption de sophistication ») : un algorithme peut être compliqué comme simple, un programme fonctionne rarement de manière autonome (les interventions humaines sont très fréquentes). L’histoire de l’IA elle-même, n’est-elle pas faite « d’hivers » et « d’étés » signalant les à-coups d’une discipline dont les promesses ne sont pas toujours tenues ?
Ainsi en matière de reconnaissance d’image, une IA censée pouvoir reconnaître des chats, rappelle Pégny, ne « voit » rien, car elle ne connaît rien du contexte. Et pour cause, un algorithme qui reconnaît des images n’a jamais interagi avec un chat. L’apprentissage machine n’en repose pas moins sur une hypothèse, celle « d’un coût de l’erreur pratiquement nul » (p. 109), qui correspond à un environnement doté d’une grande puissance de calcul, mais certainement pas à un être biologique.
Il résulte de ces systèmes une difficulté bien connue : ils sont peu transparents. Et cela à deux niveaux. Les programmes sont trop grands pour être relus par des humains (« opacité épistémique »), et ce même lorsqu’il s’agit de courts extraits (« opacité représentationnelle »). Les IA sont opaques et il n’est pas encore clair si l’on saura ou non expliquer leur fonctionnement, même si rien ne l’empêche formellement.
En revanche, les boîtes noires ne sont pas fondamentalement incompréhensibles : on connaît la liste des facteurs employés, on sait procéder statistiquement pour détecter des biais et comprendre ce qui génère une décision (parmi les exemples les plus connus, on sait que certains systèmes reconnaissent une forme à partir d’un arrière-plan, par exemple, un loup dans une forêt, un mouton dans un champ… arrière-plan sans lequel la reconnaissance d’images ne fonctionne plus).
Mais si l’explicabilité, rappelle Pégny, est un vrai sujet industriel (par exemple, en matière de conduite autonome), ce n’est pas un absolu dans tous les domaines. Une question qui structure son approche est la suivante « que doit-on savoir pour gouverner ? » : les modèles opaques ne sont pas toujours indésirables, comme dans le cas des algorithmes de greffe d’organes, basés sur des « modèles de survie ». Dans ce cas précis, le sujet n’est pas tant la transparence que la responsabilité des institutions qui les font tourner, et qui se rendraient incapables d’en expliquer le fonctionnement, car en définitive, quand il s’agit de sauver des vies, « il n’y a rien de déraisonnable à penser qu’un tel bénéfice écrase les désavantages de la perte d’explicabilité » (p. 139). Dès lors, l’explicabilité n’est pas affaire de tout ou rien, mais de connaissances nécessaires dans un contexte donné.
L’impossible équité
Tout un chapitre de « Éthique des algorithmes et de l’Intelligence artificielle », sans doute le plus technique, est dédié à la question de l’équité et à sa difficile mise en calcul. Le développement colle de près à la thèse de départ de l’auteur, celle d’une algorithmisation inscrite dans l’histoire de la bureaucratisation, à qui il est souvent reproché de ne pas s’intéresser à la singularité des cas et donc, de produire des injustices à l’égard des individus dont la réalité est parfois mal prise en compte. De la même manière, l’algorithmisation est « vendue » comme une façon d’éviter les biais humains, et les discriminations qui découlent naturellement de leurs organisations.
La question des « biais » est en effet centrale dans le domaine de l’IA. Ce sont ces biais (par exemple, racistes), qui ont mené à des controverses, durables parfois. Nul besoin cependant d’une intentionnalité pour les produire, rappelle Pégny. Un algorithme peut discriminer des CV de femmes sans se figurer la moindre notion de genre, à travers des données proxies (par exemple, l’utilisation de certains mots, même dans des CV anonymisés). Dès lors, « ceci doit nous amener à nuancer la remarque faite si souvent que “le système est biaisé parce que les être humains qui l’entraînent sont biaisés”, en fait la machine n’apprend pas comme nous, et peut se tromper pour des raisons éloignées des biais de ses concepteurs » (p. 152). Les questions d’équité se posent de façon bien plus triviale, si un système affichant des annonces immobilières ou d’emploi, évacue une audience dans son fonctionnement. Dans ces cas, le biais intervient par un effet d’omission, sans avoir été formellement codé.
Les deux cas évoqués par l’auteur sont à ce titre édifiants. Le premier d’entre eux, Parcousup (anciennement APB) est un algorithme qui recueille et gère les vœux d’affectation des futurs étudiants de l’enseignement supérieur français. L’algorithmisation de l’accès à l’université à laissé un « goût amer » (p. 183), explique le philosophe. La controverse concerne surtout les cas ex-aequo, qui dans le premier système (APB), conduisent à recourir à un tirage au sort qui percute l’idéal méritocratique. Pégny discute longuement du fonctionnement et des limites des « algorithmes de mariages stables » censés produire un optimum général, c’est-à-dire contenter un maximum de personnes. Optimum qui reste toutefois aveugle à de nombreux critères non pris en compte par le système (comme l’attachement familial ou à un lieu, qui compte parfois autant dans le choix d’une formation que la formation elle-même). En outre, il est difficile, souligne l’auteur, de différencier des cas de ce type dans une masse si importante. Comment distinguer deux étudiants aux profils similaires ? Que vaut une différence de quelques points après la virgule dans la moyenne ? Même si l’on devait forcer la différenciation au moyen d’autres critères, comme le revenu des parents, la quantité d’élèves à différencier est si importante que cela reviendrait à les distinguer sur la base de différences de quelques euros par mois. Aussi, Concevoir une combinaison de critères pour des vastes cohortes est « un défi conceptuel considérable » (p. 177) affirme Pégny, qui conclut même : « La méritocratie scolaire est pratiquement inapplicable de façon stricte aux filières massifiées » (p. 178). Parcoursup, regrette l’auteur, n’a jamais fait l’objet de débat public et surtout, a largement focalisé le débat sur la sélection des étudiants, sans qu’il ait été possible de discuter du taux d’échec, des choix d’orientation… ni même de l’intérêt de l’échec, du droit à l’erreur et aux moments de respiration.
Le cas COMPAS est lui aussi devenu un classique. Censé prédire la récidive, ce logiciel utilisé aux États-Unis a fait l’objet d’une longue enquête de l’organisation Pro Publica, soulignant son caractère intrinsèquement raciste. Dans le détail, Pégny montre toute l’absurdité des critères qui préjugent à son fonctionnement, 137 au total, dont certains évoquent le passé des parents des candidats à la récidive, et tentent de calculer leurs « attitudes criminelles » en leur demandant, par exemple, si une personne affamé à le droit de voler pour manger. Outre le fait que de tels mécanismes se focalisent avant tout sur la violence de rue (et jamais sur le crime en col blanc, telle que l’évasion fiscale), il est rappelé que ses recommandations, comme l’a montré la sociologue Angèle Christin, sont en réalité peu suivies par les juges.
Pour autant, le fonctionnement de Compas demeure hautement problématique dans la mesure où il opère un changement conceptuel de taille, consistant à instrumentaliser les déterminismes sociaux : « les sociologues s’intéressaient aux déterminations sociologiques à l’oeuvre derrière la récidive, et ces déterminations n’étaient instrumentalisées par les politiques publiques que pour venir en aide à ceux qui en étaient victimes », or avec Compas, le risque est « d’enfermer dès la naissance des hommes et des femmes dans une prison statistique dont ils ne pourront jamais sortir, puisque rien de ce qu’ils ou elles pourront faire dans leur vie ne changera rien à la suspicion a priori qui pèsera sur eux » (p. 207). Un algorithme équitable est-il possible, demande Pégny ? L’algorithme à lui tout seul, ne saurait résoudre les déterminismes imposés par les forces sociales, mais tout au moins, il pourrait ne pas les conforter, et « faire sa part » pour les atténuer. Cela n’est toutefois pas toujours possible : l’équité en tant que telle, démontre l’auteur, peut s’avérer impossible, notamment quand elle oppose des traditions juridiques différentes (par exemple, la discrimination positive Vs l’égalité de traitement).
« Surveiller et vendre »
Le dernier chapitre de Pégny analyse l’essor de la surveillance algorithmique et pointe ses différences avec une surveillance plus classique, dans le contexte du capitalisme de surveillance. Les écarts sont substantiels, et s’expriment dans les limites que l’auteur attribue à la formule « vie privée » (correspondant à l’origine au « droit d’être laissé en paix »). Définition qui laisse de côté deux spécificités : la vie privée n’est pas seulement individuelle mais bien collective, autant qu’elle est désormais discrète et subreptice. Il ne s’agit plus tant de « surveiller et punir », avance l’auteur, mais de « surveiller et manipuler et enfin de surveiller et vendre » (p. 297). À cette fin, toutes les occasions de collecte de données sont bonnes, tant qu’un objectif mercantile est poursuivi. Cette dissimulation, qui fait reposer le capitalisme de surveillance « dans le meilleur des cas sur un mensonge par omission, et dans le pire sur un mensonge tout court » (p. 304) est assurément ce qui constitue une grande première dans l’histoire de l’humanité.
Cette surveillance devenue quasiment ubiquitaire n’en demeure pas moins relativement peu critiquée, quand elle n’est pas tout simplement acceptée. En tout cas au sein des régimes où elle n’est pas encore formellement corrélée à la censure et à la répression politique. En tout état de cause, la collecte massive, « pulsion archivique » écrit l’auteur, est largement facilitée par l’informatisation et en cela, renforce la bureaucratisation de nos existences. Tous nos faits et gestes, traces, rendent de plus en plus difficile de « mettre son passé derrière soi » et ce faisant, de donner vie au fameux droit à l’oubli qui est en réalité, un droit à être oublié par autrui. La protection des données personnelles, démontre l’auteur, peine à répondre à ce problème et même, est peu explicite quant à ce qui, précisément, doit être protégé. Elle peine aussi à freiner l’essor de la reconnaissance faciale, objet paradigmatique de cette surveillance. Ces technologies, elles aussi biaisées (quand elles peinent par exemple, à reconnaître des visages noirs) ont la spécificité d’approfondir les problèmes politiques lorsqu’on tente de les améliorer : « Pas plus qu’on ne résout les problèmes de brutalité policière raciste en créant une société où tout le monde à un droit équitable à son passage à tabac, la création d’un système de surveillance ubiquitaire n’est pas justifiée par son efficacité et son absence de racisme » (P. 276)
***
Toute la réflexion de Maël Pégny a pour objet de montrer à quel point l’archivage des données, et l’utilisation d’algorithmes peu discutés, bouleverse les pratiques bureaucratiques tout en prolongeant leurs logiques, souvent anciennes. À ce titre, la montée en puissance d’un champ de recherche en éthique, et notamment dans le domaine précis de l’explicabilité, est un tournant d’autant plus notable qu’il signale une grande asymétrie entre ceux qui font les systèmes et ceux qui les utilisent – à ce titre, le manque de transparence n’est pas un sujet technique, mais aussi un enjeu politique, celui de l’obligation à la transparence.
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.