Plus que jamais, les entreprises technologiques font face à des critiques portant sur le fonctionnement de leurs systèmes. Les biais algorithmiques produisent ou reproduisent des discriminations en tous genres, poussant leurs concepteurs à se doter de nouvelles règles et comités d’éthique. Derrière ces comités : de nombreux chercheurs en sciences sociales. Si l’on comprend bien l’intérêt de leurs travaux, leurs modalités de financement (souvent par ces mêmes entreprises) interrogent : les chercheurs en éthique – et leurs recherches – ne risquent-ils pas de se muer en capital supplémentaire pour les Big Tech ? Dans article de la revue Science as Culture, les chercheurs Thao Phan, Jake Goldenfein, Monique Mann et Declan Kuch auscultent l’étrange position des chercheurs dans le domaine de l’éthique des Big Tech.
L’hypothèse d’une « économie de la vertu »
Le secteur technologique (entendre : numérique) est aujourd’hui parmi les principaux pourvoyeurs de scandales. Ces crises à répétition – économiques, sociales, éthiques – sont aussi des crises réputationelles pour ces entreprises. Pour répondre un cet enjeu, une nouvelle place de marché, celle de l’éthique (et des compétences associées à la discipline) est née. Pour les auteurs de l’article, ce marché s’inscrit dans ce qu’ils nomment une « économie de la vertu ». Celle-ci passe par la mise en place de groupes de travail et de comités, de règles, mais aussi par des partenariats avec l’extérieur : universités et instituts de recherche. L’économie de la vertu est un espace où la réputation s’échange contre des pratiques, ou a minima des règles éthiques, elles-mêmes produites par des chercheurs. Ces règles et pratiques sont ensuite accumulées et valorisées par les Big Tech.
Dit autrement, l’éthique peut être vue comme une ressource, un capital utilisé soit pour rebondir après les critiques, soit pour s’immuniser contre celles-ci. Ce constat qui n’est pas vraiment nouveau. On connaît depuis bien longtemps la capacité de certaines industries (comme le secteur pharmaceutique ou celui du tabac) à financer des recherches et des campagnes afin d’améliorer leur réputation et de défendre leurs intérêts. On sait également que ces recherches ont parfois pour objectif de générer du doute : elles s’inscrivent alors dans des stratégies de diversion pour éviter ou retarder les régulations (voir Les Marchands de doute, de Erik M. Conway et Naomi Oreskes).
Le fait que le secteur technologique s’intéresse à l’éthique peut répondre à ces mêmes stratégies. En 2019, le chercheur Rodrigo Ochigame dénonçait dans une tribune à The Intercept le mode de fonctionnement du MIT Lab au sein duquel il travaillait, et qui de son point de vue servait de faire-valoir à plusieurs entreprises de la tech – mécènes du laboratoire – non contentes de présenter leurs avancées éthiques alors même qu’elles déployaient d’immenses efforts de lobbying en vue de défendre des agendas discutables auprès des autorités de régulation. Ce témoignage est d’autant plus précieux qu’il souligne en creux les enjeux posés par des formes de mécénat privé qui se développent alors même que dans beaucoup de pays, les universités publiques voient leurs fonds diminuer, les obligeant à recourir à des partenariats avec le monde de l’industrie. C’est aussi le constat que font Thao Phan, Jake Goldenfein, Monique Mann et Declan Kuch. Plus précisément, ils décrivent à travers trois études de cas des situations dans lesquelles se retrouvent parfois les chercheurs en éthique, situations qui mettent au défi l’indépendance et la finalité de leurs travaux de recherche.
L’éthique depuis l’intérieur chez Google
Le premier cas sur lequel se penchent les auteurs décrit l’éthique produite depuis « l’intérieur » même de l’entreprise, en l’occurrence Google.
Ils dressent à cet effet une rapide chronologie des scandales qu’a connu la firme, des affaires de harcèlement sexuel ayant donné lieu aux « Google Walkout » aux contestations internes concernant plusieurs projets controversés (contrats avec l’armée, censure de la version chinoise « Dragonfly » du moteur de recherche, etc.). Ces contestations, parfois rassemblés sous le terme « Techlash » se sont traduites par des manifestations, des lettres ouvertes et des démissions (Ben Tarnoff en avait retracé les sources et l’histoire plus complète par ici). Pour répondre à ces différents fronts de critiques, l’entreprise a réagi.
En 2018, Google annonce une série de principes éthiques en matière d’intelligence artificielle. Ceux-ci sont plutôt consensuels : être utile socialement, éviter les impacts injustes sur les gens, etc. Déjà pourtant, l’anthropologue Lucy Suchman, professeure émérite à l’université de Lancaster, notait l’absence d’organe de contrôle pour statuer sur les cas où ces principes s’appliqueraient, et l’impossibilité de faire des recours. Dit autrement : sans vigies, ces principes restent des bons sentiments.
En 2019, Google poursuit avec l’initiative « AI Ethics », établissant cette fois un conseil consultatif externe (Advanced Technology External Advoisory Council – ou ATEAC). Celui-ci fait long feu : il est dilué une semaine après sa création : une pétition venant de l’intérieur de l’entreprise dénonce le fait qu’une des personnes siégeant à ce conseil – Kay Coles James – est connue pour ses positions transphobes.
Enfin, en 2020, Google embauche la chercheuse de Stanford Timnit Gebru et ancienne de Microsoft, connue pour avoir rédigé un article de recherche sur les erreurs des systèmes de reconnaissance faciale lorsque ceux-ci sont utilisés sur des populations noires, et notamment des femmes. La chercheuse est renvoyée en décembre de la même année, après que la firme lui a demandé de retirer un article académique à propos des risques éthiques et des coûts carbone des systèmes de compréhension du langage naturel. Très médiatisé, son renvoi a suscité une pétition signée par plus de 2500 employés de Googe, et 4300 personnes en dehors de l’entreprise.
Pour Thao Phan, Jake Goldenfein, Monique Mann et Declan Kuch, ce premier cas illustre une éthique « internalisée » et incorporée à l’entreprise dans le but d’en faire un actif supplémentaire destiné à renforcer et conforter un système de production préexistant. L’embauche de Timnit Gebru dont la réputation était déjà faite, était la monnaie d’échange contre ce blanchiment réputationnel, et une manière de renforcer le capital éthique de Google à travers ses productions scientifiques.
Le « débiaisage » algorithmique : un actif comme un autre
Une autre branche de l’éthique de l’IA suscite l’intérêt des auteurs, celle qui tourne autour des idées de responsabilité, de redevabilité et de transparence des modèles d’apprentissage machine (ou « FaccT », pour « Fairness, Accountability, and Transparency »). En cinq ans à peine, ce champ a connu un essor fulgurant, avec plus de 80 articles de recherche publiés en 2021, et de nombreux événements connexes avec des entreprises comme Google, IBM, Microsoft, etc.
Qu’il s’agisse de systèmes utilisés dans la police, la justice, l’emploi et le recrutement ou encore l’immigration… la poursuite de la résolution des « biais algorithmiques » contenus dans les algorithmes est globalement considérée comme un champ socialement utile. Cependant note les auteurs, le « débiaisage » produit aussi un bénéfice commercial, il rend ces systèmes plus performants. Ces outils éthiques sont mêmes devenus des actifs industriels relativement classiques : AI Fairness 360 chez IGM, Google Inclusive ML, Microsoft FaiLearn… Pour les auteurs, « en faisant de ces problèmes sociaux des challenges techniques, ces entreprises peuvent se targuer de faire de l’éthique. Pourtant, ces solutions limitent l’éthique au domaine de l’action et des décisions individuelles ».
Pour Phan, Goldenfein, Mann et Kuch, l’industrie est devenue la première « acheteuse » des recherches en éthique, dans le cadre de l’économie de la vertu. Ce phénomène renforce le « pipeline entre les élites universitaires et le secteur privé » et là aussi, le travail de recherche est transformé en capital économique. En alignant leurs intérêts commerciaux avec différentes disciplines (informatique, juridique, humanités et sciences sociales), les entreprises peuvent positionner le chercheur au centre de l’économie de la vertu tout en gardant la main sur les financements, et surtout sur leurs propres décisions stratégiques.
Par ailleurs, comme le rappelaient Helen Nissenbaum et Julia Powles dans leur article The Seductive Diversion of ‘Solving’ Bias in Artificial Intelligence : focaliser le débat sur les biais, c’est déjà l’orienter. D’une part, c’est une manière d’éviter de parler de la légitimité des systèmes en eux-mêmes et de poser les questions qui fâchent : « quels systèmes méritent vraiment d’être construits ? Qui est le mieux placé pour les construire ? Qui décide ? » D’autre part, le simple fait de parler de « biais » (qui sont des déviations du jugement chez l’humain) oblitère le fait que dans les machines, ces erreurs sont avant tout des asymétries de pouvoir qui se répercutent.
L’éthique depuis l’extérieur
Le troisième cas évoqué par les chercheurs – le plus original à mon avis – s’intéresse à une autre modalité de financement privée de la recherche en études critiques de la technologie. Cette fois, on ne parle pas d’une entreprise technologique qui internalise des chercheurs, ou qui finance des chercheurs dans une université, mais d’une entreprise d’un autre secteur qui finance des chercheurs – indépendants – sur un domaine qui n’est pas le sien.
Les auteurs s’arrêtent sur le cas de l’organisation philanthropique australienne Minderoo foundation, émanant de Fortescue Metals Group (FMG) sous la houlette du magnat Andrew ‘Twiggy’ Forrest. L’entreprise opère dans l’extraction minière, première source de revenus en Australie où le système universitaire est par ailleurs peu avantageux pour les sciences humaines, notamment depuis des lois passées en 2020 qui ont réduit les budgets dans les disciplines considérées comme peu utiles pour trouver du travail… C’est dans ce contexte que la fondation Minderoo a alloué deux milliards de dollars australiens à une grande variété de recherche telles que la pollution plastique, le trafic humain, la résistance aux feux et aux inondations ou encore le programme « Frontier Technology », sur les technologies et les Big tech.
Frontier Technology finance ainsi plusieurs programmes universitaires. Ceux-ci sont recensés ici, et également sur le (très sympathique) site Future Says : on y retrouve par exemple le « Minderoo Centre for Technology and Democracy » à Cambridge, le « Minderoo Tech and Policy Lab at the University » (University of Western Australia) ou encore la « Minderoo Initiative on Technology and Power » (University of California). Hormis le co-branding, la fondation n’interfère pas dans les travaux des chercheurs affiliés à ces programmes. L’idée générale de ces recherches est d’attaquer les questions de régulation, de renforcement des droits des travailleurs et de création de nouveaux imaginaires technologiques, face aux risques que les technologies actuelles représentent. Thao Phan, Jake Goldenfein, Monique Mann et Declan Kuch ajoutent : « les chercheurs soutenus par la fondation Minderoo ne sont pas aussi en vue que ceux qui travaillent avec les Big tech et qui participent à faire croître leur capital dans les domaines concernés. En revanche, ils sont très critiques vis-à-vis secteur technologique, et reconnus pour leur indépendance, leur rigueur et leur habileté à poser des questions structurelles. »
Les motivations de la fondation Minderoo ne sont pas comparables à celles des Big Tech. Et le fait que ces financements viennent d’en dehors du secteur de la tech ne va pas sans poser quelques questions. Bien sûr, il y a un aspect ironique à ce qu’une entreprise d’extraction minière agisse dans tous ces domaines, quand on connaît le poids écologique de cette industrie. La figure de Andrew Forrest est par ailleurs controversée. Connu pour ses pratiques d’optimisation fiscale, il a soutenu en Australie le système de carte de débit « cashless debit card » particulièrement nocif pour les populations les plus fragiles notamment les indigènes (il restreint la capacité à acheter certaines choses, au prétexte que l’argent dépensé est issu des programmes sociaux).
Qu’est-ce qui pousse la fondation à financer des recherches sur les technologies ? Les auteurs font plusieurs hypothèses. Il pourrait s’agir d’une énième stratégie de blanchiment réputationnel, qui passerait notamment par le fait de se montrer capable d’adresser sans peur les grands défis que les gouvernements eux-mêmes peinent à relever. Il pourrait également s’agir d’une stratégie de diversion : focaliser l’attention sur d’autres industries et leurs problèmes plutôt que la sienne. Enfin, certains avancent que la motivation pourrait simplement être de malmener les Big Tech.
Quoiqu’il en soit, ces stratégies ne sont pas neutres pour le chercheur qui se retrouve à l’intersection de ces différentes stratégies. Certes, il est libre de produire des recherches critiques sur les acteurs technologiques : contribuer à l’économie de la vertu depuis cette position se défend. Cependant, il produit indirectement de la valeur pour l’industrie de l’extraction minière.
***
Parce qu’ils occupent souvent les trois positions déclinées ici, les chercheurs et leurs travaux servent fréquemment des intérêts économiques sans nécessairement l’avoir souhaité. A cet effet, ils sont parfois les dindons de la farce : cooptés afin de faire perdurer le statu quo. Les auteurs sont lucides : ces arbitrages sont aussi des stratégies de survies alors que les alternatives publiques sont réduites.
Le risque, faudrait-il ajouter, est que progressivement, les travaux menés par des chercheurs inféodés d’une manière ou d’une autre à ces entreprises perdent en crédibilité, comme cela a pu être le cas dans d’autres secteurs (pensons aux pesticides), au détriment du bien public. Il y a toutefois des cas où des comités d’éthique sont parvenus à freiner certains produits ou à restreindre certaines fonctionnalités (comme par exemple le fait d’imiter une voix humaine à partir d’un petit échantillon, chez Microsoft, ou encore le détourage des photos chez Twitter : ce sont bien là deux choix issus de travaux de recherche et de délibérations concernant l’éthique), ne les négligeons pas. Tout comme nous ne devrions pas négliger le fait que certains chercheurs aillent de leur plein gré travailler pour les entreprises qu’ils ont pu par ailleurs étudier et critiquer (comme Alex Rosenblat, autrice de Uberland et débauchée par Uber).
L’éthique corrective au détriment de l’éthique « by design » ?
A lire le papier de Thao Phan, Jake Goldenfein, Monique Mann et Declan Kuch, on pourrait être tenté de penser que l’éthique est affaire de financements : un chercheur participant à un comité indépendant aurait plus de poids qu’un chercheur inféodé à une entreprise. Si l’on ne peut évidemment pas balayer cette possibilité, il semblerait que le problème soit un peu plus complexe.
Mon collègue Julien De Sanctis (@JulienDeSanctis), doctorant en philosophie à l’Université de Technologie de Compiègne, et connaisseur des questions éthiques dans les entreprises technologiques, me faisait à cet effet part de plusieurs réflexions.
Selon lui, le point le plus problématique actuellement dans le champ de l’éthique est que la pratique est décorrélée du processus de production : « les comités ont une vision foncièrement corrective et ponctuelle de l’éthique, au détriment d’une éthique en continu. Or si l’éthique « by design » avait un sens quelconque, alors elle devrait justement devenir une puissance de conception. » Ce qui n’empêche pas, me précise-t-il, que des avis pertinents soient rédigés : on peut à ce titre prendre l’exemple du Comité consultatif national d’éthique (CCNE).
Cette distance entre l’éthique et la pratique se ressent par exemple dans le soin, où l’éthique semble tomber du ciel (elle impose des pratiques, des techniques et des gestes) sans que les praticiens aient participé à ces décisions. Ils deviennent alors des exécutants de l’éthique, une position qui par ailleurs les déresponsabilise. Dans ces situations, l’éthique est externalisée à des comités faute de temps. Or le temps – et les moyens humains – sont justement les ressources qui permettraient d’appliquer l’éthique en continu et non pas de manière corrective. C’est bien un problème analogue qu’on retrouve chez les Big Tech. En 2019, Facebook a mis en place une charte et un « Conseil indépendant de surveillance » contraignant. Mais que vaut cet énième comité Théodule face aux « Facebook Files », révélations qui attestent notamment les manquements de l’entreprise en matière de modération dans plusieurs pays connaissant des crises politiques ?
Enfin, termine Julien De Sanctis : il faut bien noter que les comités d’éthique se penchent avant tout sur des sujets en vogue et déjà bien médiatisés, comme les biais algorithmiques par exemple : « ces problèmes deviennent autant de créneaux à investir par l’entreprise pour satisfaire la demande sociale, quitte à invisibiliser d’autres questions ». L’utilité d’un comité d’éthique ne résiderait-elle pas plutôt dans le fait d’identifier les bonnes questions au fil de l’eau ? Julien, qui a pu participer au montage d’un comité d’éthique dans une entreprise technologique, confirme que leur intérêt en termes de réputation supère bien souvent leur utilité opérationnelle. L’éthique, termine-t-il, peut être une opportunité, mais c’est avant tout une contrainte. Il s’agirait donc de se rappeler qu’à ce titre, rien ne dit qu’elle soit fondamentalement compatible avec les activités de l’entreprise qui y fait appel.
Irénée Régnauld (@maisouvaleweb),
Pour lire mon livre c’est par là, et pour me soutenir, par ici.
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.