La question de la régulation de l’intelligence artificielle est majeure. Elle articule une variété de courants, des plus techno-optimistes, plaidant l’adaptation à un avenir déjà écrit, aux oppositions plus frontales aux technologies numériques et à la « civilisation industrielle » dans son ensemble^[1]. Entre les deux, on retrouve les approches régulationnistes, engageant à encadrer davantage le développement de l’IA dans un esprit de responsabilité. Un domaine en particulier est souvent mentionné dans ce champ : la « regulation by design » (RbD)^[2]. Il s’agit en résumé, d’incorporer les régulations en vigueur à la conception des systèmes, ce qui ne va pas sans poser quelques questions.

L’idée d’implémenter des règles éthiques ou des valeurs morales dans les systèmes n’est pas nouvelle. C’est en partie le rôle des méthodes dites de co-design. Il en existe un certain nombre (j’ai rendu compte de certaines d’entre elles comme « Society-in-the-loop », le « design d’expérimentation civique » ou encore « Ethical OS »). Cette dernière méthode peut d’ailleurs faire l’objet d’ateliers très concrets à l’intérieur d’entreprises créatrices de produits numériques. La « regulation by design » de son côté, implique que les concepteurs de logiciels implémentent dans les choix d’architecture, de code, d’interfaces de leurs produits numériques, des règles juridiques.

Réguler par le design : du risque de figer la loi

La loi n’est jamais complètement figée. Elle change au gré des évolutions de la société, des choix effectués par les gouvernements au nom des citoyens qu’ils représentent et autres sursauts politiques divers. Intégrer la loi dans le code « une fois pour toutes » est, de ce point de vue, risqué. C’est ce qu’explique le chercheur Marco Almada dans un article publié dans la revue European Journal of Risk Regulation, « Regulation by Design and the Governance of Technological Futures^[3] ». Pour Almada, les risques à long terme de la RbD doivent être clairement envisagés pour éviter de sacrifier le futur aux intérêts du présent.

En cause notamment, le fait que la RbD délègue une partie du pouvoir normatif aux concepteurs des produits numériques (et notamment les plus techniciens : architectes, développeurs, etc.). Car c’est bien à eux que revient la tâche d’incorporer les impératifs légaux dans les choix techniques.

Concrètement, cela peut nécessiter de limiter ou de ne pas utiliser certains procédés, voire d’établir des règles en dur pour éviter certains usages. Pour certaines réglementations binaires ou fonctionnant sur des principes de type if/then (pensons à l’automatisation du calcul de l’impôt), cette intégration est a priori, relativement simple. Cependant, il reste quantité de cas où les concepteurs peuvent être confrontés à des dilemmes car les règles ne sont pas toujours binaires, ce qui peut conduire à mal interpréter la loi.

Prenons le cas de la modération des contenus haineux. Si un contenu haineux n’est pas retiré, la règle n’est pas respectée. À revers, si un contenu non haineux est retiré alors qu’il n’aurait pas dû l’être (on parle de « faux positif »), alors nous avons affaire à une violation du droit à la liberté d’expression. Par exemple, un message peut être estampillé haineux car il n’est simplement pas correctement interprété et remis dans son contexte culturel.  Par exemple, c’était de l’ironie. On peut en tirer plusieurs conclusions. D’abord, comprendre le contexte autour d’un contenu est difficilement automatisable. Ensuite, s’il existe un flou et donc une marge d’interprétation, c’est que les concepteurs deviennent malgré eux des co-régulateurs, ce qui pose la question de leur responsabilité.

Dans ce cas précis, la RbD n’est peut-être tout simplement pas le bon outil, écrit Almada. Eventuellement, elle se mue en une technique de gestion du risque : certains contenus seront arbitrairement supprimés, et la liberté d’expression partiellement sacrifiée, au nom de la lutte contre tous les autres contenus clairement haineux.

La « regulation by design » à l’épreuve du futur

Sur le plus long terme, la RbD pose un certain nombre de défis. Une fois qu’une règle est implémentée dans une produit, que se passe-t-il lorsque celui-ci évolue ou est modifié ? Les effets de cette régulation cessent-ils ? À l’inverse, certains produits durent des décennies, que prévoit-on pour assurer que la règle évolue avec le droit – et ne renferment pas les utilisateurs dans une norme figée ?

Enfin, quel crédit donner à des règles implémentées par des personnes qui n’ont aucune légitimité ? Almada rappelle à ce titre que la légitimité de la loi émane de deux mécanismes. Le premier découle de ses effets de la loi (positifs ou non). Dans le cas supposé d’un post supprimé par erreur, les effets ne sont pas positifs : la légitimité de la loi est donc remise en cause. Le second mécanisme montre que la loi est jugée légitime lorsque ceux qui la font sont eux-mêmes perçus comme tels. Or les concepteurs de logiciel ne sont a priori pas des personnes plus légitimes que les autres pour interpréter la loi.

En outre, ces personnes devraient être tenues responsables en cas d’effets négatifs (principe dit de accountability, constitutif de la notion de responsabilité. En résume quelqu’un doit rendre des comptes). Ce qui implique qu’il faudrait se mettre en condition de comprendre ce qui a mené auxdits effets.

En encodant une loi dans la machine à un moment T, la « regulation by design » risque de figer un droit qui, souvent fait de principes généraux, devrait pouvoir rester relativement mou et interprétable. À long terme, le risque est d’éroder le concept même de RbD… À cela s’ajoute un problème de représentativité des générations futures : imaginez par exemple qu’une loi injuste perdure dans un système conçu par des personnes à la retraite, voire mortes. Pour Almada : « la RdB crée donc le risque que les futures générations finissent gouvernées par des systèmes qu’elles n’auront pas mis en place, sans pouvoir en changer. »

Ces points d’attention ont conduit à des réflexions qui ont débouché sur l’idée d’une régulation à l’épreuve du futur (« futureproof regulation »). Il existe par exemple dans l’IA Act (lien vers la version .pdf en français) deux mécanismes qui permettent de réduire ces risques :

• Le premier, contenu dans l’article 53, dispose que des mises à l’essai dans des « sandbox » (bacs à sable réglementaires) doivent permettre de valider les systèmes « pendant une durée limitée avant leur mise sur le marché ».
• Le second mécanisme, contenu dans l’article 84, demande à ce que des évaluations et réexamens soient réalisés à intervalle réguliers.

Cependant pour Almada, ces mécanismes sont encore insuffisants dans la mesure où ils ne permettent pas de représenter les générations futures. Le chercheur établit une analogie avec le stockage et l’enfouissement des déchets nucléaires, « imposé » à ceux qui nous succèderont – quoi qu’on pense par ailleurs de ces choix forcément complexes.

Pour finir, il ajoute qu’il revient au final au régulateur d’enjoindre au concepteur de vérifier si son système est bien en adéquation avec la loi, et donc de s’assurer que la connaissance dudit système est encore partagée. Dit autrement : les concepteur devraient être en mesure d’expliquer ce qui n’a pas fonctionné, et de disposer des outils permettant de représenter ce fonctionnement (une tâche rendue difficile par la complexité des modèles d’IA connexionnistes^[4]).

L’explicabilité du point de vue des concepteurs : une notion ambiguë

Pour prolonger sur cette question de la responsabilité des concepteurs, le papier de Louis Vuarin et Véronique Steyer dans publié dans la revue Réseaux « Le principe d’explicabilité de l’IA et son application dans les organisations » est tout indiqué, et permet de prolonger la réflexion sur les limites de la « regulation by design ».

Les chercheurs·es, qui ont réalisé 25 entretiens auprès de concepteurs (au sens large) d’intelligences artificielles, dans 17 organisations (y compris dans des champs éloignés de l’IA mais qui la déploient, comme le BTP), interrogent la notion phare et en plein essor « d’explicabilité » (ou XAI pour eXplainable Artificial Intelligence). Les chercheurs·es rappellent que si cette exigence d’explicabilité est entrée dans la loi (et notamment dans le RGPD), le champ demeure peu investigué. Ils tirent de leur enquête trois résultats majeurs :

1. L’explicabilité rime le plus souvent avec performance. Pour les répondants, « comment » répond l’IA est finalement moins important que de savoir « à quel point ses prédictions sont justes ». Qu’il s’agisse de bureautique ou d’automatisation de traitements administratifs, les éventuelles erreurs pèsent peu par exemple, face au temps que les systèmes permettent de gagner au global. Cela vaut également pour les systèmes les plus critiques : « la performance est le critère éthique fondamental ». Si des erreurs sont constatées dans des cas particuliers, il ne s’agira pas tant de comprendre ce qui ne marche pas que de mieux « orienter » le modèle pour l’améliorer. Cette approche n’est pas sans risque (rater des erreurs qui n’avaient pas été imaginées, par exemple).
2. Une confusion entre exigence de compréhension et exigence de rendre des comptes. Dans les organisations rencontrées, l’explicabilité est une manière de se mettre en capacité de rendre des comptes plus que de d’expliquer le fonctionnement d’un système et donc d’ouvrir la boîte noire. À de multiples égards, ouvrir la boîte noire n’est pas forcément souhaité par les utilisateurs, comme par exemple un médecin cité dans l’article, qui ne voudrait pas qu’on lui explique en détail le résultat de la machine car « S’il se trompe, alors que toutes les informations lui ont été transmises, il devient le fautif ». Le risque est là aussi, de ne plus comprendre le fonctionnement de la machine, mais de seulement privilégier son amélioration ou son débogage et donc, de se dégager de toute responsabilité en cas de problème en arguant du fait que les utilisateurs ont validé le produit.
3. La place ambiguë de l’expertise métier dans l’XAI : dans les organisations visitées par Vuarin et Steyer, le dialogue entre les concepteurs et les experts métiers est réel, et s’organise par exemple lors de sprint de développements plutôt classiques, dans une logique de co-design. Dit autrement : les métiers (qui peuvent être les utilisateurs) valident l’IA. Que celle-ci reste une boîte noire n’est pas conséquent, pas un problème. Au final, le besoin d’explicabilité en est réduit d’autant.

En résumé, l’explicabilité n’est pas une notion simple, et son interprétation tant par les concepteurs que par les utilisateurs des systèmes demeure ambiguë. La performance reste première : il s’agit pour les organisations d’accomplir avec plus d’efficacité leurs missions avec des ressources contraintes. Par exemple : mieux soigner dans le médical, automatiser les tâches dites chronophages pour se concentrer sur les tâches « nobles » ailleurs, etc. Vuarin et Steyer soulignent que cette « éthique managériale » peut contredire la nécessité d’amorcer l’effort nécessaire à fournir pour améliorer l’XAI. Quant aux experts qui utilisent l’IA sans la comprendre, les chercheur·ses soulignent qu’il ne s’agit pas tant pour eux de la comprendre que de savoir qu’une explication est disponible si besoin, et fiable.

Ce que nous racontent ces histoires, c’est que l’automatisation des lois et plus généralement, des valeurs morales et éthiques dans les machines n’est pas si assurée. Tout cela tient d’un dialogue approfondi qui doit avoir lieu entre les concepteurs des technologies, les utilisateurs (voire la société elle-même, qui est parfois « l’utilisatrice » d’un système, lorsque celui-ci touche à la vie sociale).

^[1] Voir notamment, Jonathan Martineau et Jonathan Durand Folco, Le capital algorithmique, accumulation, pouvoir et résistance à l’ère de l’intelligence artificielle, écosociété, Montréal, 2023, p. 385.

^[2] On trouvera une première référence à la formule chez Karen Yeung, « ‘Hypernudge’: Big Data as a mode of regulation by design », in Information, Communication & Society, vol. 20, 2023, p. 118-136.

^[3] Marco Almada, « Regulation by Design and the Governance of Technological Futures », in European Journal of Risk Regulation, 2023, p. 1-13.

^[4]Modèles qui reposent sur le traitement de données organisées en couches de réseaux permettant aux ordinateurs d’apprendre de manière autonome et donnant lieu à ce que l’on appelle le deep learning.

Mais où va le Web

Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.