Des limites de l’éthique numérique entre hommes blancs

Dans un article, le philosophe Jacob Metcalf (@undersequoiasoutl) et l’anthropologue Emanuel Moss (@MannyMoss), du Data & Society Research Institute, reviennent sur leur rapport « Ethics Owners: A New Model of Organizational Responsibility in Data-Driven Technology Companies » (.pdf) où ils ont cherché à comprendre les limites des actions des « responsables éthiques » dans les entreprises technologiques.

L’essor des « ethics officers »

Depuis quelques années, les métiers liés à la « responsabilité éthique » fleurissent dans la Silicon Valley, et plus généralement dans les entreprises du numérique. Bien que les appellations ne soient pas homogènes (« ethics officer », « AI for good lead », « privacy and rights lead », jusqu’au « director of data science research »), ces fonctions ont émergé pour que les questions des droits, des libertés, et plus généralement du respect de certaines valeurs soient défendues au sein même des entreprises technologiques. Cet intérêt grandissant pour l’éthique est une réaction directe à la prise de conscience des implications sociales de certains systèmes informatiques ou algorithmiques. La technologie n’est pas toujours bonne en soi, et l’éthique permet d’accroître la vigilance lors de son développement : c’est une bonne nouvelle.

Si les auteurs concèdent l’importance des démarches éthiques, le résultat de leurs travaux les mènent à des considérations critiques quant à leur pertinence aujourd’hui. Après avoir interviewé deux douzaines de responsables éthiques dans des entreprises numériques, ainsi que des managers, des activistes, et d’anciens salariés de ces entreprises, ils concluent que l’éthique reste encore très loin de prendre en considération les publics qui subissent les effets néfastes des nouvelles technologies. « Nous avons trouvé que ceux à qui la technologie nuit le plus sont aussi les plus éloignés des sources de pouvoir qui décident quoi faire à ce propos ».

Une trop grande homogénéité parmi les praticiens de l’éthique

Parmi les nombreuses raisons qui expliquent cet éloignement, le profil des responsables éthiques est à mettre au premier plan. Ceux-ci sont très majoritairement blancs, et viennent pour beaucoup d’universités d’élites. Ils disposent de revenus confortables. Il ne s’agit pas ici de défendre que ces caractéristiques les rendent incapables d’entrevoir des problèmes qui ne sont pas les leurs. Cependant, comme nombre de techniques éthiques en vogue consistent à s’installer dans une salle et à « réfléchir très fort » à la façon dont vivent d’autres gens qui ressemblent rarement à ceux présents dans la pièce, cette homogénéité n’incite pas à réellement s’ouvrir davantage à d’autres publics. Ces autres publics, non représentés, sont avant tout les noirs, indigènes, et gens de couleur (ou « BIPOC », pour Black, Indigenous, and people of color).

Pour Jacob Metcalf et Emanuel Moss, la quête de diversité et l’inclusion sont encore loin de mettre à mal l’hégémonie de l’homme blanc dans les industries technologiques. Ce problème est selon eux d’ordre structurel. Les entreprises ne sont pas armées pour tenir compte des effets de leurs technologies sur certains publics. Les réactions d’Amazon au « Gender Shade » (http://gendershades.org/) illustrent bien ce phénomène. Lors de cette expérience, issue de ses propres travaux de recherche, la chercheuse Joy Buolamwini a démontré que les systèmes de reconnaissance faciale fournis par la firme (Rekognition) étaient beaucoup moins précis quand il s’agissait de reconnaître des femmes noires. En réponse, le management d’Amazon s’est contenté d’affirmer que les seuils « par défaut » utilisés pour mener l’expérience n’étaient pas paramétrés au maximum. Seulement, les clients d’Amazon, et notamment les forces de police qui utilisaient ces systèmes, n’avaient pas connaissance de l’existence tels seuils. Cette réponse en dit long sur l’absence de normes, ou d’audit au sein même de la firme. Notons qu’il a fallu les nombreuses manifestations antiracistes du mouvement #BlackLivesMatter pour qu’Amazon, ainsi qu’IBM, cessent temporairement de vendre de tels outils aux forces de police, étant donné leur manque de fiabilité. Ce recul à l’endroit de la reconnaissance faciale est loin d’être anecdotique. Il atteste du fait qu’au-delà des démarches éthiques internes – certes souhaitables – les mouvements sociaux et la pression exercée par certains collectifs demeure en définitive les meilleurs garde-fous face à des technologies à grand potentiel liberticide. Les enseignements de Bianca Wylie, activiste qui a organisé la contestation face au projet de smart-city de Toronto Quayside sont à cet égard utiles.

Le philosophe et l’anthropologue conviennent par ailleurs que le simple fait de bâtir des systèmes de surveillance biométrique devrait nous arrêter « aucune éthique ni gouvernance supplémentaire ne rendra ces technologies justes ». C’est aussi le constat que faisait la juriste Julia Powles en 2018.

La paille et la poutre

Un autre problème qui freine la bonne prise en compte des nuisances de certaines technologies, notamment liées à la race et au genre, provient de la culture « toxique » qui prévaut encore dans de nombreuses entreprises de la tech. En juin 2020, rapportent les auteurs, Ifeoma Ozoma, experte en politiques publiques alors salariée de l’entreprise Pinterest s’émouvait de la prise de position de son employeur en faveur du mouvement #BlackLivesMatter. Cet apparent soutien contredisait, selon elle, les agissements de la firme vis-à-vis des populations afro-américaines. En plus des pratiques de harcèlement dont elle fut directement victime, Ifeoma Ozoma rappelle que les politiques salariales défavorables pour ces publics contredisent son engagement public. Les auteurs du rapport abondent ; pour eux, la culture raciste ayant cours dans le milieu est bien documentée, et interroge directement la capacité des firmes à construire des démarches éthiques de bout-en-bout, qui soient susceptibles d’assurer une meilleure distribution du pouvoir entre ceux qui conçoivent les outils, et ceux qui en subissent parfois les conséquences.

Ces constats ne sont pas nouveaux, les biais raciaux, comme le rappelait récemment Hubert Guillaud, sont ancrés dans l’histoire, et en ce sens, continuent d’amplifier des hiérarchies sociales. Pour Safiya Noble par exemple (autrice de Algorithms of Oppression, NYU Press, 2018, non traduit), les résultats de recherche raciste et sexistes sur Google sont « le résultat d’une logique d’entreprise, d’une négligence délibérée et d’un impératif de profit qui tire avantage du racisme et du sexisme. » Ces logiques – que l’on retrouve dans les distributeurs de savons ne reconnaissant pas les mains « non blanches » ont pour effet soit d’invisibiliser les noirs, soit de les rendre au contraire « hypervisibles », notamment lorsqu’il s’agit d’appliquer des scores permettant par exemple d’attribuer des crédits bancaires. Ces scores reflètent des disparités sociales et les « encodent » dans la machine.

Qui les repentis de la Silicon Valley ont-ils invisibilisé ?

Les réflexions de Jacob Metcalf et Emanuel Moss font écho à une tribune publiée par l’autrice irlandaise Maria Farrell (@mariafarrell) « The Prodigal Techbro » à propos des « repentis de la Silicon Valley » – nom parfois donné aux anciens cadres défroqués des grandes entreprises technologiques. En quelques années, et à la faveur des mouvements de contestation liés aux effets néfastes de certaines technologies, ceux-ci sont apparus de plus en plus nombreux sur la scène publique, et se sont parfois faits les porte-étendards d’une « éthique » du numérique.

Pour elle, l’histoire de ces repentis a tout, ou presque, de la parabole du fils prodigue. Les repentis viennent en quelque sorte chercher une seconde chance après avoir réalisé qu’ils contribuaient à faire le mal. Maria Farrell note que ces hommes – ce sont souvent des hommes blancs – ont bien souvent mobilisé les ressources des activistes « installés », y compris son propre temps, avec de bonnes intentions. Cependant, elle souligne également que leurs ascensions, souvent fulgurantes (comme celle de Tristan Harris, qui a fondé le « Center for human technology ») se sont peut-être fait au détriment d’autres activistes, avec des messages différents. Ils auraient ainsi contribué à invisibiliser d’autres combats, souvent plus radicaux, ou plus ouverts sur les questions démocratiques et citoyennes, et d’autres personnes – qui depuis longtemps ont fait de leur vie ces combats, avec les risques financiers que cela comporte. Maria Farrell cite par exemple Bianca Wylie (qui a créé l’Open Data Institute  Toronto) ou encore Aran Balkan et son initiative Small tech. Elle écrit à propos de ces derniers : « j’aimerais que leurs voix soient amplifiées, et pas seulement les voix de ceux qui ont mis une décennie supplémentaire pour réaliser à quel point le cœur-même de la Silicon Valley était à ce point pourri ».

Pour Maria Farrell, les fils prodigues de la Silicon Valley trahissent la parabole dans le sens où ils n’ont pas besoin de passer par une quelconque traversée du désert pour passer du bon côté. C’est bien parce qu’il se réveille dans une porcherie que le fils prodigue finit par faire amende honorable, et retourne chez son père réclamer une seconde chance, or, écrit-elle, « les fils prodigues de la tech ne dégringolent pas de leurs positions sociales et de leurs jobs bien payés, ils se dirigent vers de nouveaux secteurs qui acceptent comme monnaie d’échange la réputation qu’ils ont accumulée. Ces fils prodigues ne rejoignent pas la résistance, ils lancent de nouvelles startups en réutilisant les contacts qu’ils avaient pour lever des fonds dans un mouvement de blanchiment réputationnel. »

De cette critique à peine voilée, on pourrait interpréter une forme de jalousie de la part de Maria Farrell. Auraient-ils réussi là ou d’autres n’ont pas su se faire connaître et porter leurs combats ? La réalité est un peu plus nuancée. Il faut bien comprendre que le contenu critique des fils prodigue est souvent éloigné des revendications d’autres activistes plus radicaux qu’ils contribuent par leur seule présence à éclipser. Tristan Harris a eu le mérite de poser sur la table la question du design éthique, de l’addiction aux écrans. Ces critiques ont vite été absorbées par les entreprises qu’elles ciblaient (ce dont je rendais déjà compte en mai 2018). D’une certaine manière, les repentis posent au capitalisme de surveillance une « critique artiste », dans la mesure où celle-ci menace sans cesse d’être réinterprétée dans un sens aristocratique, individualiste, avec pour seule issue un éternel retour du même. La critique devient alors « branchée », tout en se débranchant d’autres critiques, plus sociales.

Maria Farrell note ce fossé idéologique entre les repentis et les activistes – et le risque de glissement vers une critique molle, incapable de penser des changements structurels : « Parce le fils prodigue de la tech est un modéré, centriste, un type normal. Bon sang, il est démocrate. Quoi penser de ceux qui depuis des années vous disent ce qu’il dit maintenant ? Ce sont des fauteurs de trouble, des parias, obsédés par le scandale et le ressentiment. Le fils prodigue, il comprend pourquoi vous les avez ignoré, lui aussi les a ignorés. Il sait que vous voulez que les choses aillent mieux. Mais c’est compliqué, il faut de la nuance. Il sait que vous allez l’écouter, il est comme vous au fond… »

L’autrice termine avec quelques conseils, qui vaudront aussi pour tous ceux qui souhaitent se lancer dans des démarches éthiques, ou qui viennent de se réveiller :

• familiarisez vous avec la littérature existante, allez voir les associations ou ONG qui travaillent ces sujets depuis longtemps. Ecoutez-les.
• Utilisez vos privilèges et votre réseau pour mettre en valeur des activistes qui le méritent, plus spécifiquement des femmes et des personnes de couleur.
• Comprenez que si vous vous lancez dans une telle démarche pour préparer la prochaine étape de votre carrière, alors vous êtes dans le faux. S’il s’agit de blanchir votre réputation, parce que vous avez travaillé dans des entreprises controversées, vous êtes également dans le faux. S’il s’agit de « rendre » quelque chose que vous auriez pris, encore faux.

L’éthique à l’heure du « social dilemma »

Je ne pouvais pas terminer ce billet en tempérant les propos rapportés ci-dessus avec quelques remarques personnelles à propos du récent documentaire produit par Netflix The social dilemma (derrière nos écrans de fumée) qui met en scène le retour de bâton éthique qui touche la Silicon Valley, et particulièrement Facebook. Il semble d’ailleurs que Facebook devient peu à peu l’entreprise à sacrifier pour éviter que tout l’édifice ne s’écroule (édifice auquel contribue également Netflix, qui n’est pas avare en design persuasif, étrangement, il n’en est pas question dans le documentaire).

Il m’a semblé, en visionnant The social dilemma, retrouver à la fois les constats de Jacob Metcalf et Emanuel Moss, et ceux de Maria Farrell. La mise en scène d’abord, qui place au centre de l’analyse la figure héroïque des repentis qui, armés de leurs seul courage, ont sur transgresser les règles et sortir de la matrice. Ceux-là, en effet, n’ont probablement pas eu à s’inquiéter de ne plus être en mesure de payer leur loyer. Cependant, nous ne devrions pas balayer leur message, ni ce qu’ils apportent au débat. Point besoin d’avoir souffert pour être un activiste et porteur de vérité, ni pour réveiller les foules. De même, il me semble discutable de leur reprocher de s’être réveillés trop tard. L’important est qu’ils aient fini par se réveiller. Et de ce point de vue, nous pouvons leur être reconnaissants.

Cependant, et c’est là le point le plus important, nous devons constater que la force critique de The social dilemma s’évapore dès lors qu’elle opère tout un tas de généralisations, de liens simplistes, voire grotesques, entre Facebook et l’ensemble des malheurs du monde. Complotistes, trumpistes, brexiteurs, antivax et autres gilets jaunes sont quasi-agglutinés dans un même système de cause et d’effets, avec pour épicentre Facebook, et éventuellement un Vladimir Poutine mal intentionné qui utiliserait l’outil pour accomplir sa vile destinée. Peut-on de la sorte, attribuer à Facebook tous ces phénomènes ? Dans The social dilemma, ni Tristan Harris, ni les autres personnes interviewées ne prendront le temps de signaler un contexte plus vaste de montée des inégalités sociales, climatiques et territoriales, raciales, de polarisation grandissante des richesses, de délitement progressif dans de nombreux pays des droits des travailleurs. Ces phénomènes ne sont pas apparus comme par magie en 2008, quand Facebook est devenu mainstream… Si réguler Facebook est nécessaire, cela ne conduira pas à régler tous ces problèmes. La conclusion de Harris est d’ailleurs caractéristique : la technologie peut être terrible, mais il demeure fantastique de pouvoir commander un taxi en trente seconde. Facebook, c’est mal, mais Uber passe encore. L’éthique du numérique n’est pas qu’entre hommes blancs, elle est aussi en col blanc.

Le documentaire termine donc sur une forme de flop conceptuel. Si l’on conviendra tous qu’il faut des lois, on ne dira pas vraiment lesquelles (Shoshana Zuboff est bien la seule à parler d’interdiction pure et simple de certains outils, la seule autre proposition restante est une taxe sur la collecte de données, c’est-à-dire de nouveau, une régulation par le marché lui-même – qui laisse la porte ouvertes à de fausses bonnes idées). Au final, il faut rendre le monde meilleur. Relancer la matrice avec de nouvelles lignes de code ou, comme l’écrit Maria Farrell : « redonner la clé à l’ingénieur, se refocaliser sur la mission originelle ». Dans les dernières minutes, c’est l’image de Steve Jobs qui vient illustrer toute la splendeur de ce rêve oublié… Le doute est permis.

Image : Tristan Harris dans « The social dilemma »

Irénée Régnauld (@maisouvaleweb), pour lire mon livre c’est par là, et pour me soutenir, par ici.