Dans article publié sur le site du MIT Press, « La sécurité de l’IA est un problème de récit », la journaliste et experte des questions éthiques en technologie Rachel Coldicutt s’interroge sur le succès du narratif qui présente les risques de l’intelligence artificielle de façon maximaliste : risque d’extinction de l’humanité au premier plan. Celui-ci a le grand avantage de sidérer l’auditoire et de plaire à certaines rédactions. Toutefois, il masque des risques réels qui se passent volontiers de visions apocalyptiques – j’en parlais dans un précédent billet. Explorons ici les suites à donner à ces premières réflexions, mais aussi les limites à l’idée de faire une « pause » dans les développements de l’IA.
Risques existentiels : une arme rhétorique
Pour Coldicutt, le constat est sans appels : les « risques existentiels » saturent l’espace médiatique. En cause la complexité du domaine de l’IA et de ses implications sociales grandement localisées et diversifiées. Dès lors, il est facile de comprendre pourquoi le récit des risques existentiels a percé. En synthèse, il est simple, évacue tout jargon en se focalisant sur une issue ultime vendeuse sur les bandeaux et plateaux télé. Ensuite, il hérite de réflexes antérieurs dramatisant l’IA en référence à des mythes multiples issus du cinéma ou de la littérature de science-fiction. Les « Doomers » (des personnes ou des groupes qui expriment des préoccupations extrêmes et pessimistes concernant certains risques réels ou supposés de l’IA) jouent une partition très ancienne qui réveille les mythes grecs en poussant jusqu’aux films de Marvel dans lesquels des héros se battent contre le mal absolu. Enfin, ces récits sont empreints d’une forme d’urgence absolue qui pétrifie les publics y faisant face et devient, à force de répétition, presque impossible à ignorer.
La journaliste relate ensuite une anecdote. Alors qu’elle est invitée à une table ronde avec le chercheur britanno-canadien spécialiste de l’intelligence artificielle Geoffrey Hinton (souvent décrit comme le « Godfather of AI »), ce dernier lui demande ce qu’elle fait dans la vie. Coldicutt lui répond qu’elle aide les gens à comprendre comment les technologies fonctionnent réellement avec le monde, et se lance dans quelques mentions des questions éthiques en technologies (“tech ethics”). Hinton lui demande alors en quoi elle est qualifiée pour faire cela. La journaliste lui rétorque maladroitement qu’elle conçoit des produits numériques depuis vingt ans et surtout, qu’elle observe leurs implications sociales… La question n’est pas inintéressante après tout. À l’heure où les risques dits existentiels prennent une telle place médiatique, qui est qualifié pour aborder les questions éthiques ?
Sans faire la chronologie complète desdits risques, on rappellera certaines de leurs étapes : la lettre ouverte du Future of Life Institute qui mentionnait une possible « perte de contrôle sur la civilisation » ou la déclaration du Center for AI Safety affirmant que « le risque d’extinction dû à l’IA devrait être une priorité mondiale ». Bien évidemment, rappelle Rachel Coldicutt, les développements de l’IA n’ont jamais cessé suite à ces lettres proposant de faire une « pause » dans le développement de l’IA. Musk a signé l’une d’entre elles et développe Grok sans plus de complexe. OpenAI a repackagé l’IA en « superintelligence » tout en promouvant plutôt la nécessité d’une « gouvernance mondiale » (il faudra sans doute attendre un « gouvernement mondial » pour la mettre en place, l’ONU étant semble-t-il plutôt hors-jeu aujourd’hui).
Pause IA : le mythe du bouton magique
Chemin faisant, l’idée de faire une « pause » dans le développement de l’IA s’est quant à elle agrémentée de nouveaux risques (biosécurité et cyberattaques), tout en restant vague sur leur concrétisation et en quittant avec peine le registre de la science-fiction. On se permettra ici un écart : rien de tout cela ne signale l’absence totale de risques, nous y reviendrons. Il me semble toutefois que leur mode de traitement par l’absolu (autant que ces risques sont présentés comme tels) pèche par sa grande naïveté. Une « pause » dans l’IA revient notamment à stopper l’activité du capital risque et donc de ne plus payer les salaires de milliers de travailleurs (développeurs, architectes, commerciaux, etc.). Cela revient en quelque sorte à mettre le capitalisme technologique à l’arrêt. La « pause » oublie d’interroger d’une part la rhétorique de la tragédie grecque, mais surtout les modes de financement de l’IA et les changements qu’il faudrait leur apporter pour les flécher vers des finalités préférables du point des objectifs socio-économiques qu’une société décide d’adopter. Or on entend rarement les partisans de cette fameuse « pause » défendre l’idée d’une recherche en technologie rendue publique (et pourquoi pas, démocratique), ou encore de l’utilité des syndicats ou actions assimilées qui dans la Tech ont pu, au moment du « Techlash » en 2019, freiner l’arsenalisation de l’IA (dans le cadre du projet Maven chez Google, par exemple, qui consistait à doter des drones de guerre de tels systèmes). De ce point de vue, la « pause » ressemble moins à une injonction venue de l’extérieure qu’à une grève depuis le « milieu » – les travailleurs de la tech eux-mêmes, cadres au premier plan – dont le pouvoir de nuisance semble aujourd’hui malmené par le fait que nombre de leurs entreprises ont « Kiss the ring » de Donald Trump (et pour Google, abandonné ses principes éthiques en matière de militarisation).
Aussi la journaliste poursuit, expliquant que ce récit « détourne l’attention des dommages bien réels causés par les technologies automatisées et basées sur les données, et confère un pouvoir immense et insaisissable à ceux qui les conçoivent. » Je ne peux ici que la rejoindre : nous le répétions lors d’un récente conférence donnée avec la journaliste Mathilde Saliou : une partie de la « Tech » a tout intérêt à réifier la technologie pour en livrer une image lisse et monolithique (la métaphore qui nous est venue en tête est justement le monolithe de Stanley Kubrick dans 2001, L’Odyssée de l’espace, quand il faudrait plutôt se figurer la tech comme un mur d’escalade où les prises sont nombreuses et diversifiées). Le revers de cette médaille est le « risque existentiel », qui reste mal étayé précisément parce qu’il se veut totalisant et par définition peu circonstancié (comment documenter la possibilité de l’extinction de l’humanité ?). Les analogies formulées par les partisans de la « pause » l’illustrent bien : l’IA est coup à coup comparée à la bombe atomique ou au changement climatique, et la possibilité d’une « pause » victorieuse est défendue au moyen d’un argument historique : certaines technologies ont connu des coups d’arrêts brutaux, comme le clonage humain ou les mines antipersonnelles. Toutefois, le clonage fut interdit par la Déclaration des Nations unies sur le clonage humain (2005) au nom de raisons morales enracinées dans une partie de l’humanité alors que son intérêt économique n’était pas vraiment à l’ordre du jour. Les mines antipersonnelles furent interdites par la Convention d’Ottawa (1997) notamment parce qu’elles contreviennent au Droit international humanitaire (DIH) car elles ne sont pas capables de discriminer entre combattants et civils, causant ainsi des souffrances disproportionnées et durables même après la fin des conflits. Les bombes atomiques quant à elles, ne sont pas interdites jusqu’à nouvel ordre et ne se régulent que par les Traités de désarmement qui limitent leur nombre (START, SALT, etc.); les contrôles sur l’enrichissement de l’uranium pour éviter la prolifération horizontale ou encore les attaques informatiques (pensons par exemple au virus Stuxnet développé par les USA et Israël en vue de ralentir le programme iranien). Le changement climatique quant à lui, est certes un risque existentiel mais il n’est pas pertinent de le comparer à l’IA pour des raisons évidentes. En bref, les interdictions strictes ne fonctionnent que dans des cadres juridiques et politiques très solides. L’IA, en tant que technologie à la fois omniprésente et lucrative (enfin, sur le papier), s’intègre profondément dans les structures économiques et stratégiques contemporaines, rendant toute tentative de pause d’autant plus difficile à imposer et à faire respecter. Je passerai ici sur le fait que la formule « IA » ne signifie évidemment pas grand-chose dans la mesure où l’on parle d’une multiplicité de systèmes et logiciels dont les usages sont très diversifiés.
À propos des agents autonomes
On pourra bien évidemment convenir du fait que les risques qui concernent certains de ces systèmes en passe de devenir de plus en plus autonomes commencent à être catalogués. Dans un article (warning : encore sur ArXiv), « Fully Autonomous AI Agents Should Not be Developed » (« Les agents IA complètement autonomes ne devraient pas être développés »), les chercheurs·es Margaret Mitchell, Avijit Ghosh, Alexandra Sasha Luccioni et Giada Pistilli montrent ainsi que plus ces agents sont autonomes, plus ils posent de risques aux utilisateurs et au public. Ces agents, qui écrivent leur propre code et agissent en dehors des contraintes et des cadres prédéfinis par leurs concepteurs dans des environnements non déterministes, posent effectivement un certain nombre de problèmes. L’article en dresse un certain nombre, et surtout les répartit en trois catégories : 1/ les risques inhérents (présents à tous les niveaux d’autonomie), 2/ les “relations compensatoires”, quand des opportunités et des risques apparaissent de concert et 3/ les risques amplifiés, lorsque que l’augmentation de l’autonomie exacerbe des vulnérabilités existantes.
Ces catégories sont déclinées dans différents domaines où les risques sont mis en face des bénéfices potentiels. Par exemple, un agent pourrait être orienté vers une finalité positive en calculant qui des hommes ou des femmes parlent le plus dans un groupe (oui, un chronomètre suffirait), mais pose problème s’il est connecté à un compte bancaire et capable d’effectuer seul des achats. Ces systèmes sont également présentés comme idéaux pour tester des changements économiques ou des options politiques sur des masses, mais peuvent générer de l’addiction ou une trop grande confiance dans leurs résultats. Dans un autre registre, ils pourraient permettre de faire gagner du temps mais risqueraient de pousser à leur confier trop d’informations confidentielles. L’argument central des chercheurs·ses est qu’étant donné que les risques surpassent les bénéfices, alors ils devraient être interdits (je grossis le trait par souci de synthèse). Ce texte relève d’un certain précautionnisme technologique intéressant (qui au passage, ne s’embarasse pas de la question des risques existentiels) mais procède par édification de situations théoriques et fictives qui rejoignent la question posée par Hinton à Rachel Coldicutt, à savoir, qui est qualifié pour traiter de ces questions éthiques ?
Je ne m’étendrai pas ici sur les subtilités des degrés d’autonomie de tels agents (la plupart des systèmes d’IA dits « autonomes» restent fortement contraints par des règles, des limitations d’accès aux données, ou des architectures hybrides combinant des prises de décision humaines et algorithmiques), car je crois surtout qu’une telle grille d’analyse reste largement abstraite et repose sur des cas théoriques qui empêchent de saisir les dynamiques sociales, politiques et économiques qui entourent le développement de l’IA autonome. D’une certaine manière, cette grille cède à une forme de déterminisme technique (sous la forme « les IA autonomes seront développées, donc il faut les encadrer ») sans interroger les dynamiques de pouvoir qui les sous-tendent : qui a intérêt à les développer ? Quelles inégalités reproduisent-elles (notamment en termes de division internationale du travail) ? Comment sont-elles réellement utilisées au-delà des promesses ? Nous sommes encore prisonnier – beaucoup moins, certes – des stratégies discursives des acteurs de la « Tech ». Une telle analyse en surplomb mériterait d’être enrichie d’enquêtes plus empiriques et de prêter attention aux usages concrets, mais aussi d’étudier les résistances intérieures (ingénieurs) ou extérieures (société civile) auxquels ces technologies font face.
Le dilemme qui se pose ici est classique en éthique des technologies, il oppose l’empirisme et l’anticipation. D’un côté, documenter les usages réels débarrassés des mythes et de toute forme de déterminisme condamne à arriver après la bataille, une fois que les technologies sont déjà déployées (NB : ce qui ne veut pas dire que c’est inutile, à la manière d’un journaliste d’investigation qui révélerait une fraude pour y répondre légalement). De l’autre, l’anticipation précautionniste prône un arrêt total, basé sur des éléments potentiellement spéculatifs (pas toujours). Bien qu’étant très favorable au principe de précaution, il faut tout de même constater que celui-ci est freiné par la logique économique qui pousse les États qui voient dans ces technologies des opportunités économiques et qui sont souvent mus par la « tyrannie du retard » à les développer. Par ailleurs, plus le discours est tranché, moins il a de chance de percer. Enfin, ce principe, tout comme l’idée de moratoire, s’applique plus facilement à un projet industriel bien identifié (par exemple, la 5G, un data center, etc.) qu’à un faisceau de technologies très différenciées, aux degrés d’autonomie variables, etc.
Ce faisant, je ne souhaite pas balayer d’un revers de main ces travaux. Mais je crois que de tels appels à l’interdiction ne fonctionnent pas, dans ces cas-là, parce qu’ils ne sont pas la bonne ni l’unique manière de gouverner ces technologies. J’en veux pour preuve – un peu faible, mais c’est juste une illustration – un atelier auquel j’ai récemment participé lors de la Journée du Numérique Responsable organisée à Nantes le 18 mars dernier. Des intervenants ont eu l’idée originale d’organiser plusieurs scénettes détaillant les conversations entre un porteur de projet et un comité d’éthique fictif au sein d’une entreprise. Le projet était celui d’un « commercial augmenté », au moyen d’une intelligence artificielle autonome capable de prendre le relai pour remplacer celui-ci dans les tâches de prospection, y compris en mimant sa voix. Le pitch est simple : les commerciaux sont débordés donc pourquoi ne pas les « remplacer » partiellement par un outil (un outil de plus en fait, car ils en ont déjà un certain nombre : CRM et cie), en allant juste un peu plus loin dans la personnalisation. Sur scène, le porteur de projet faisait donc face à ce comité composé du patron, d’un juriste (DPO) et d’un cadre, chacun faisait part de ses espoirs et inquiétudes, parfois avec une certaine ironie. L’objectif commun étant de faire progresser l’entreprise, d’un point de vue commercial avant tout. Si en 2025, un tel outil de commercial aussi « augmenté » par l’IA peut rebuter, il existe depuis longtemps des robots qui vous appellent sur votre téléphone et en 2018, Google mettait déjà en scène une IA capable d’appeler le coiffeur à votre place (sans beaucoup de succès).
Je ne prétends pas ici que ces outils sont fonctionnels ni souhaitables et d’ailleurs, la conversation avec la salle n’a pas vraiment porté sur ces points qui sont de l’ordre de l’économie des promesses et de la morale. Très vite, cette conversation a pris une tournure juridico-technico-fonctionnelle : où sont puisées les données ? Les utilisateurs sont-ils consentants ? Faut-il prévenir le client qu’un robot l’appelle ou feindre son humanité ? Rien en réalité, qui n’empêche réellement le déploiement de tels outils : tout ou presque finit par être « encadrable » juridiquement du moment que l’on coche les bonnes cases et que l’on procède aux bons audits. À la fin des fins, le succès de ces IA reposera non pas sur une posture binaire (accepter ou refuser) mais sur des négociations plus intimes auxquels ils feront face dans le monde du travail et chez les clients. Dans le premier cas, c’est le rapport de force interne à l’entreprise dans un contexte de guerre économique qui guidera ces négociations, et dans le second l’efficacité économique et la réputation de l’entreprise vis-à-vis du client. Un outil qui peut paraître absurde moralement peut en définitive devenir tout à fait réel. On peut tout à fait concevoir que pour des raisons évidentes, certains agents autonomes soient interdits car ils manipulent des données sensibles, effectuent des achats non désirés, diffusent de fausses informations, bref, contreviennent aux plus élémentaires droits des personnes et à la confiance même en le marché. De là à dire que tous les agents autonomes sont concernés par de telles limites, je ne crois pas. Et il y aura sans doute, à de nombreux endroits, un fort lobbying pour les laisser s’infiltrer au nom d’usages différenciés (par exemple, pour en faire de parfaits commerciaux).
Dès lors, vers quoi devrait pointer une critique des technologies capables de faire face aux différents risques posées par ces intelligences artificielles ? Je serai nécessairement décevant ici mais je crois que le point essentiel consiste à identifier les trajectoires économiques et politiques qui préjugent le financement de ces recherches. J’en reviens à mes questions précédentes, qui finance et pourquoi ? Dans une perspective plus Stieglerienne, on pourrait simplement demander dans quelle mesure ces technologies permettent de protéger les savoirs collectifs (et si nous sommes capables de penser collectivement des alternatives) ou, avec Langdon Winner, se demander en amont si nous voulons que ces technologies existent plutôt que de les gérer a posteriori. En définitive, sortir du débat « réguler ou interdire » et plutôt penser des conditions de production plus démocratiques des technologies. Ces questions et ces propositions ne peuvent pas être séparées d’une critique plus large des dynamiques économiques et politiques à l’œuvre. En fin de compte, ce n’est pas tant l’IA autonome elle-même qui est en jeu, mais les structures de pouvoir qui la façonnent et la légitiment. Tant que ces structures ne sont pas démocratisées, le débat restera piégé entre régulation illusoire et interdiction inopérante.
Image en tête d’article : Hanna Barakat & Cambridge Diversity Fund / Better Images of AI / Pas(t)imes in the Computer Lab / CC-BY 4.0
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.