Society in the loop : vers un intelligence artificielle plus démocratique ?

En 2017, Iyad Rahwan (@iyadrahwan), responsable du groupe des coopérations évolutives au MIT posait avec Joi Ito (@Joi) du MIT Medialab le concept de « Society in the loop » (SITL), une méthode pour impliquer différentes parties-prenantes dans la conception d’un système d’apprentissage automatique[1] (ou machine learning), à la base des intelligences artificielles (IA) qui jalonnent le quotidien. L’idée : co-construire plutôt qu’imposer les solutions au grand public, en faisant intervenir dès la phase de conception une diversité d’acteurs. J’en retrace ici un court historique, une illustration et les quelques perspectives et limites qu’il me paraît intéressant de pointer, notamment au regard des questions relatives à ce qu’on appelle la « démocratie technique ».

L’humain dans la boucle : intervenir pour entraîner, tester et modifier des intelligences artificielles

Dans son article sur Medium[2], Iyad Rahwan explique que le concept de Society in the loop (SITL) repose sur celui de « Human in the loop » (HITL). Pour les chercheurs en intelligence artificielle, mettre « l’humain dans la boucle » consiste à faire intervenir une personne (humaine) lors de la conception et de l’utilisation d’un système d’apprentissage automatique afin de le valider et de l’améliorer. Prenons un exemple : vous décidez d’automatiser votre relation client avec un agent conversationnel (ou « chatbot »), il vous faudra alors vérifier que cette automatisation reflète bien les besoins de l’utilisateur et ne dégrade pas la relation initiale (physique, téléphonique). Il faudra ensuite veiller à ce que les questions de l’utilisateur sont correctement interprétées, et que les réponses du chatbot sont pertinentes. La base de données quant à elle, devra être amandée au cours du temps afin d’éviter les incompréhensions qui pourraient surgir. Cela peut se faire grâce à la méthode HITL, par exemple en demandant aux utilisateurs de pointer les erreurs, voire de suggérer des améliorations au fil de l’eau. De la même manière, lorsque vous tagguez un message comme spam dans le webmail de Google (Gmail), le système entier bénéficie de votre appréciation et s’améliore pour tous les autres utilisateurs de la messagerie (dans ce cas précis, on pourrait d’ailleurs assimiler votre action à du Digital Labor[3]). Au-delà de ces deux illustrations, HITL est utilisé pour améliorer des intelligence artificielles censées établir des diagnostics médicaux ou guider l’utilisation d’armes autonomes (ce qui permet de répondre à des du type : faut-il tirer dans tel ou tel cas ? Sur qui faut-il tirer en premier ?).

Mais l’intelligence artificielle se diffuse également dans des sphères qui concernent plus directement la vie publique, et donc la société. Pour ne citer qu’eux : le classement de lycéens après leurs bacs[4], l’automatisation de procédures judiciaires[5] ou des horaires de ramassage scolaire[6], la dérégulation du flux automobile dans les villes dus à l’utilisation d’un service de GPS comme Waze[7], l’utilisation de la reconnaissance faciale dans des lieux publics[8] et privés[9], l’usage de « détecteurs de mensonges » aux frontières[10], la police prédictive[11], ou même plus simplement l’usage de systèmes reposant sur la captation de l’attention de l’utilisateur[12].  A leurs échelles, ces sujets touchent la vie sociale dans des dimensions qui pourraient légitimement demander à ce que des discussions plus démocratiques aient lieu. Ils entrent certes, plus ou moins directement dans la catégorie « intelligence artificielle » mais participent de la numérisation du monde à travers des algorithmes, et feront tous le pas vers l’IA si ce n’est déjà fait.

Pour une meilleure lisibilité cependant, je prendrai deux autres exemples mieux adaptés à une lecture novice. D’un côté l’arrivée supposée imminente des véhicules autonomes sur la route. De l’autre, les « bulles de filtre » des réseaux sociaux.

• Le comportement des véhicules autonomes pose de nombreuses questions d’ordre moral : si un obstacle oblige le véhicule à dévier mais implique de renverser un piéton, que faire ? Le système devrait-il épargner le conducteur ou le piéton ? C’est le fameux dilemme du tramway, qui se décline en milliers de petites de situations sur la route.
• Les « bulles de filtres » théorisées en 2011 par l’activiste Eli Pariser, désignent « à la fois le filtrage de l’information qui parvient à l’internaute par différents filtres ; et l’état d’ « isolement intellectuel » et culturel dans lequel il se retrouve quand les informations qu’il recherche sur Internet résultent d’une personnalisation mise en place à son insu. » Schématiquement, si vous êtes de droite, Facebook afficherait des informations de droite sur votre mur, et réciproquement. En réalité, rien ne vient prouver que ces bulles nous enferment plus que nous ne le faisons nous-mêmes, mais elles ont eu le mérite de mettre la lumière sur le fait que les algorithmes des réseaux sociaux s’apparentent à des processus d’éditorialisation et peuvent malgré tout « orienter » nos choix suivant des critères que nous connaissons mal. Dernièrement, l’épisode « fake news » a ajouté de l’eau à ce moulin algorithmique.

Dans le premier exemple, nous avons une question relative à l’insertion et au comportement d’un nouveau véhicule dans l’espace public (la ville, la rue, la route, etc.). Dans le second, des systèmes algorithmiques qui, à travers les réseaux sociaux comme Facebook, ou YouTube et d’autres, pourraient influencer la vie politique et polariser les opinions des personnes à différentes échelles. De manière plus générale, la prolifération de nouveaux produits de l’intelligence artificielle impacte la vie sociale et va de pair avec une prolifération de controverses, d’affaires et de scandales qui demandent à mettre… la société dans la boucle.

Du « human in the loop » (HITL) au « society in the loop » (SITL)

C’est là qu’intervient le passage qualitatif du « human in the loop » (HITL) au « society in the loop » (SITL). Pour le dire simplement, le SITL devient nécessaire lorsqu’un système utilisant l’intelligence artificielle a des implications importantes sur la sphère sociale. Iyad Rahwan explique : « alors que le HITL utilise le jugement d’un individu ou d’un groupe pour optimiser un système pensé trop étroitement, SITL embarque le jugement et les valeurs d’une société vue comme un tout, dans la définition la gouvernance algorithmique[13] de questions sociétales ». En résumé, le SITL est une forme de contrat social entre ceux qui doivent obéir aux règles et ceux qui écrivent les règles. Coupons court au débat qui concerne les bulles de filtres : leur émergence et leurs effets dépendent du paramétrage des algorithmes de Facebook, de Google et des autres services susceptibles de créer ces bulles. Par conséquent, elles restent à leur main, notamment à travers leurs Conditions générales d’utilisation (CGU) et le secret d’affaires qui protègent ces systèmes (et les modèles d’affaires de captation du « temps de cerveau disponible » qui y sont directement liés). Pas de démocratie à cet endroit, quand bien même les impacts sur la démocratie pourraient être réels, même s’ils sont encore mal mesurés. C’est une des premières limites du modèle « Society in the loop ».

Dans le cas des véhicules autonomes en revanche, une vaste étude a été réalisée sur plusieurs années par le MIT Lab. Elle a concerné des millions de personne dans 233 pays (à travers le petit jeu http://moralmachine.mit.edu/) et a montré à quel point le traitement des questions éthique est variable, même lorsqu’on parle de conduite automobile ! Comme le relate Hubert Guillaud : « la question éthique diverge selon la culture, le niveau économique et la localisation géographique ; bien plus que selon des préférences individuelles (…) les Japonais ont plutôt tendance à préférer des véhicules qui épargnent les piétons alors que d’autres cultures, comme la culture chinoise, préfèrent des véhicules qui épargnent les passagers. » L’objectif d’une telle étude est d’apporter l’éclairage de la société toute entière afin que le système technique réponde au « bien commun ».

Nous décrirons plus loin les grandes limites de cet exercice, mais avant cela, intéressons nous au projet GEnIAL (@Genial_Project), une « intelligence artificielle concertée & Open Source pour des services d’utilité publique ».

GEnIAL, l’intelligence artificielle concertée pour des villes vraiment « responsives »

A l’initiative de Grégoire Japiot (@gregoire) et Matteo Mazzeri (@matemaz), le projet GEnIAL (voir le site internet) est « Une plateforme qui utilise les interfaces conversationnelles et l’intelligence artificielle afin de permettre à la population d’un territoire de mieux vivre dans sa ville à l’ère de la Smart City en offrant des moyens simples pour accéder aux services des administrations et des autres acteurs de la région. » Le projet, qui se revendique de « Society in the loop », est d’utilité publique et censé resté « la propriété des citoyens », contrairement aux services d’assistants proposés par les géants d’internet. Les données collectées ne sont pas commercialisées et la vie privée reste préservée. Grégoire, le fondateur, précise que les concertations citoyennes sont au cœur du projet. L’idée : intégrer dans le service les retours de la société (citoyens, administrations/institutions publiques, chercheurs et acteurs économiques) en vue d’élaborer des modèles d’apprentissage utilisés pour construire une « intelligence artificielle concertée ». Concrètement ces concertations se font via des formats de rencontres participatives et l’utilisation d’outils d’intelligence collective et de concertation en ligne. Par ailleurs, le projet lui-même est né de rencontres aux formats « barcamp » gratuits et ouverts (genre de conférence où les participants sont acteurs et non pas spectateurs).

Concrètement, GEnIAL Bot, est une « solution qui vise à permettre aux utilisateurs d’interagir avec l’ensemble des informations d’un territoire via des interfaces conversationnelles de type chatbot et assistant vocal. » Au lieu de devoir utiliser des moteurs de recherche pour identifier les différents sites où se trouvent les informations recherchées ou bien de devoir téléphoner aux services concernés, les utilisateurs peuvent interroger GEnIAL Bot en s’adressant en langage naturel et se laisser guider sous forme de conversations vers l’information. Pour la partie technologique, GEnIAL « dispose d’une convention de partenariat avec le CERN qui lui permet de concevoir avec les équipes les plus pointues, une intelligence artificielle éthique et explicable, dont les modèles d’apprentissage sont pensés de manière à refléter l’identité du territoire et intégrer un processus de concertation continue avec ses habitants. » Ce dialogue permanent permettrait de concevoir les services les plus pertinents et en adéquation avec les attentes aussi bien des habitants que de l’ensemble des institutions et du tissu économique local.

Les premières règles du projet GEnIAL seront spécifiées dans un framework lors d’un barcamp, puis feront l’objet de plusieurs itérations, dans l’esprit SITL, pour l’améliorer à partir de l’analyse des résultats produits par les expérimentations. On comprend que le projet n’en est qu’à ses prémisses. Grégoire Japiot rappelle que si quelques projets se revendiquent de SITL, la plupart d’entre eux n’en sont aujourd’hui qu’au stade du concept ou du groupe de réflexion. Mais ce qui semble se dessiner revêt un intérêt théorique certain. Plusieurs rendez-vous sont prévus dans les mois à venir autour de GEnIAL : le 28 janvier, le projet sera présenté par Taghi Aliyev du CERN sous le titre « Open ecosystem to connect citizens and co-create the responsive city using AI » (lien) et le 29 Matteo Mazzeri donnera une conférence chez AI & Society « Society in the loop : shaping responsive cities, creating a commons information patrimony » (lien).

La méthode Society in the loop

IA et démocratie technique : limites et perspectives 

A une échelle très locale, le projet GEnIAL pourrait entrer dans ce qu’il convient d’appeler la « démocratie technique ». La formule que j’emprunte ici à Callon, Barthes et Lascoumes dans l’ouvrage fondateur Agir dans un monde incertain, Essai sur la démocratie technique (Seuil, 2011) désigne notamment les dispositifs par lesquels des profanes peuvent peser sur les modes de conception et de diffusion des sciences et des techniques. A l’évocation de la démocratie technique, on pense souvent aux grandes polémiques et controverses qui ont agité des sujets technoscientifiques comme les OGM, l’enfouissement des déchets nucléaires, ou encore les traitements contre le SIDA. Ce dernier cas a montré que l’intrusion des malades parmi les experts a pu conduire à améliorer les protocoles des laboratoires pharmaceutiques, alors très éloignés de leurs vies. Plus concrètement, des groupes de malades se sont réunis en associations, sont eux-mêmes devenus experts des protocoles médicaux censés traiter leur maladie, et ont lutté contre l’indifférence générale à travers des actions coup de poing : irruption au siège du laboratoire pharmaceutique Melton Pharm, aspersions de faux-sang, notamment contre le directeur de l’Agence française de lutte contre le sida. Le splendide film 120 battements par minute de Robin Campillo (2017) retrace ce mouvement.

Si ces exemples peuvent paraître éloignés des questions relatives à l’intelligence artificielle, ils permettent d’entrouvrir une autre dimension de la démocratie technique. Par-delà la pure contestation ou modification a posteriori d’une technique existante, Callon, Barthes et Lascoumes décrivent un modèle de « co-production des savoirs ». Ce modèle postule que les non-spécialistes peuvent produire des connaissances à partir de leurs intérêts propres. Ils sont les plus à même d’entrevoir les risques d’un projet et de les faire reconnaître comme légitimes lors d’une étape de conception commune. Ce faisant, ils participent pleinement à la production des sciences et des techniques. Ce modèle suscite des critiques : on pointe le fait que des profanes ne seraient pas capables de s’exprimer sur un sujet technique, et que par conséquent, l’avis des experts serait toujours supérieur, de meilleure qualité, et devrait être pris en compte en priorité. De nombreux contre-exemples viennent infirmer ces thèses. L’expérience prouve que si les conditions sont réunies, des personnes éloignées d’un sujet technique ou scientifique peuvent tout à fait construire des rapports de grande qualité et reconnus comme tels par les experts eux-mêmes. Ce fut le cas lors des controverses concernant les OGM il y a de cela une vingtaine d’années. Callon, Barthes et Lascoumes racontent également comment les amateurs contribuent à améliorer la connaissance scientifique dans de nombreux domaines, comme par exemple l’astronomie.

En première lecture, la méthode « Society in the loop » semble répondre à cette exigence de démocratie, avec un modèle de co-production des savoirs. Elle a le mérite de faire émerger des groupes différents en amont de la conception d’un objet technique (en l’occurrence une IA, et dans le cas de GEnIAL, un chatbot) puis de les faire participer à sa construction. Dans son article, Iyad Rahwan écrit d’ailleurs que « dans tous les gouvernements, les citoyens utilisent différents canaux comme le vote, les sondages, les institutions ou les médias sociaux pour articuler leurs attentes avec le gouvernement, qui est en dernier ressort, évalué par les citoyens. Les société modernes fonctionnent (en théorie) sur un modèle « society in the loop ». En d’autres termes : nous avons besoin de créer de nouveaux outils capable de donner le pouvoir à la société de programmer, débugger et monitorer le contrat social algorithmique. » Il conclut alors qu’il faut pour cela réduire le fossé entre les sciences informatiques et les humanités.

Si cette affirmation est sur le papier, bourrée de bonnes intentions, il convient de garder à l’esprit que réunir des individus n’est pas neutre, et ce à de multiples points de vue qu’explicite l’historien des sciences Dominique Pestre[14] :

• D’une part, le public qui participe aux débats publics est toujours « fabriqué » et la définition du « bon citoyen » et de « la démocratie » est toujours normative. Il existe en fait deux manières de constituer des panels. La première sélectionne des « stakeholders » (parties-prenantes), la seconde des gens sans opinion : « dans le premier cas, on valorise les citoyens actifs, dans le second, ceux qui s’abstiennent d’un intérêt pour la chose publique – ce qui correspond à des images différentes de la citoyenneté et répond, le plus souvent, à des visées différentes de la part des organisateurs. » En d’autres termes, selon le mode de sélection que vous choisirez pour réunir vos participants, vous guiderez le débat dans des directions différentes.
• Ensuite, il faut noter que tout processus de consultation est « chorégraphié ». Selon qu’on transmet ou non des informations aux participants en amont de la rencontre, leurs décisions pourront changer. Lors des conférences de consensus par exemple, qui réunissent une quinzaine d’individus tirés au sort autour d’une controverse technoscientifique, des « formations » sont prévues auprès d’experts[15] aux avis variés, avant que les participants ne se fassent une opinion éclairée et n’écrivent leur rapport. Consulter des individus sans les préparer se rapproche de la méthode du sondage, dont on connaît les multiples biais (questions imposées, souvent dans un contexte émotionnel peu propice à l’installation d’un climat dépassionné). S’il s’agit de décider comment doit se comporter un véhicule autonome, un sondage massif peut suffire car la dimension politique passe plus ou moins au second plan (pour de mauvaises raisons d’ailleurs – voir le point suivant). Mais qu’en est-il quand on aborde des sujets plus sensibles comme ceux précédemment cités ?
• Enfin, Dominique Pestre rappelle que les questions techniques sont souvent envisagées sous l’angle de l’évaluation des risques. Ce qui est une traduction très partiale des problèmes que posent les technosciences en société : « Les logiques de l’innovation sont évacuées des questions légitimes, ce cadrage réifie le progrès comme un bien en soi, et il invisibilise la possibilité et le droit de débattre des alternatives à nos modes de développement.» Comme le rappelait également Richard Sclove[16], « les technologies sont des structures sociales » : elles affectent tous les membres de la société, qu’ils le veuillent ou non. Elles structurent la vie sociale au même titre que les lois  (et d’ailleurs ne dit-on pas que « code is law[17] » ?). En d’autres termes, avant de discuter par exemple de l’éthique des véhicules autonomes, ne vaudrait-il pas mieux se demander en première instance si les véhicules autonomes sont la suite logique des véhicules actuels, car cela ne relève en aucun cas d’une loi de la nature (ou du fameux « sens de l’histoire »). De nombreuses études documentent le fait que ces véhicules pourraient créer un « effet rebond » et ainsi augmenter indirectement les émissions de GES[18], récoltent des données à l’insu des utilisateurs, modifient le paysage urbain[19]. Plus concrètement : les procédures de consultation à propos de l’IA envisagent-elle le cas où le public refuserait le recours à une IA ?

Ajoutons à ces trois points un quatrième : pourquoi ce traitement démocratique si spécial devrait-il se limiter à l’intelligence artificielle ? Une des raisons est sans doute que l’on pressent que son déploiement va changer le monde et susciter des controverses qu’il vaut mieux anticiper. N’oublions pas cependant que de nombreuses technologies numériques (ou non) changent le monde plus insidieusement et suivant des échelles temporelles qui nous les rendent « invisibles à l’œil nu ». Légitimement, on pourrait aussi poser la question démocratique à leur endroit[20].

Ce que la démocratie technique questionne, c’est non seulement l’aménagement du progrès, mais aussi sa définition. C’est-à-dire la direction donnée à la civilisation. Entraîner une intelligence artificielle – même avec la méthodologie Society in the loop – c’est déjà faire le choix d’une intelligence artificielle. Ce qui ne veut pas dire que ce choix soit mauvais. Pas plus qu’il n’est naturellement bon. Disons que c’est un choix parmi d’autres. Ce point chaud qui concerne la définition du progrès est et sera de plus en plus au centre de toutes les questions liant technosciences et démocratie. Dans les questions relatives à l’intelligence artificielle, mais aussi à la question climatique où l’arbitrage entre démocratie et technologie va être décisif dans les décennies à venir (l’actuel débat autour du nucléaire en témoigne). A ce titre, il convient de se demander si SITL correspond une « démocratisation des choix techniques » plus qu’à une « technologisation des choix démocratiques » pour reprendre la formule de D.Pestre.

Quelle traduction juridique à l’échelle européenne (et ailleurs) ?

Récemment, la Commission européenne du groupe d’experts de haut niveau sur l’intelligence artificielle (AI HLEG), livrait un rapport intermédiaire sur l’éthique de l’intelligence artificielle (Draft Ethics guidelines for trustworthy AI dont la version finale est attendue pour mars 2019) qui propose une série de critères à respecter (lire le rapport en .pdf) parmi lesquels les droits humains, la transparence, la confidentialité des données ou encore l’explicabilité des systèmes[21]. Ces éléments sont clairement des avancées pour les droits des personnes. Le rapport préconise également de réunir les parties-prenantes pour assurer une IA « digne de confiance », (section « Stakeholder and social dialogue », (p29) où on invite à mettre en place des « discussions ouvertes qui impliquent différentes parties prenantes, partenaires sociaux ainsi que le grand public. » et à « chercher activement la participation et le dialogue sur les usages et impacts de l’IA[22] »).

Parallèlement, l’Université de Montréal a bâti une « Déclaration pour un développement responsable de l’intelligence artificielle[23] ». Cette déclaration décrit dix principes phares pour guider le développement de l’IA, parmi lesquels un « principe de bien être » ou encore un « principe d’inclusion de la diversité » (lire le rapport en .pdf). De même, ce sont là des pistes qui vont dans le bon sens. Arrêtons-nous sur le principe numéro cinq : « principe de participation démocratique ». Celui-ci pose notamment des exigences de transparence et précise que « Pour les Systèmes d’intelligence artificielle (SIA) publics ayant un impact important sur la vie des citoyens, ces derniers devraient avoir la possibilité et la compétence de délibérer sur les paramètres sociaux de ces SIA, leurs objectifs et les limites de leur utilisation. » Rappelons au passage que les IA qui ont des impacts sur la vie des citoyens ne se limitent pas à celles qui émanent du secteur public : les cas cités précédemment comme Waze à un niveau très local, ou les bulles de filtres à un niveau plus global, en attestent. Question : souhaite-t-on délibérer à propos des IA du secteur public parce qu’elles ont des effets sur la vie citoyenne, ou bien parce qu’elles sont publiques ? Si ce sont les effets qui sont la raison d’être de la délibération, alors pourquoi ne pas l’appliquer au secteur privé également, sous couvert d’adaptation ?

Ensuite, notons que ni l’un ni l’autre de ces rapports ne pousse plus la réflexion sur les tenants, aboutissants et déclencheurs de ces « consultations » ou « délibérations ». Au regard de ce que nous venons d’expliquer dans cet article, un certain nombre de questions restent donc ouvertes :

• Quels projets impliquant l’IA devront ou non mener des consultations ou réunions d’autres types ? Selon quels critères (projets privés ? publics ? Gros ? Petits ? Locaux, internationaux ? Des projets dont on prévoit qu’ils produiront tel ou tel type d’effet sur la sphère publique ?[24]).
• A quel stade de développement du projet les parties-prenantes sont-elles consultées ? Si beaucoup d’argent a déjà été investi, il y a fort à parier que le processus dans son entièreté soit construit pour générer de l’acceptabilité, c’est-à-dire éviter de le remettre en question. Dans le cas de certaines entreprises privées, les stratégies de déploiement sont si rapides qu’elles empêchent toute discussion a priori (le fameux « too big to ban »).
• Comment sont « fabriqués » les publics et constitués les panels ?
• Qui assure la montée en compétence des publics, comme cela est mentionné dans la déclaration de Montréal ?
• Comment libère-t-on du temps aux citoyens pour qu’ils puissent se réunir et délibérer sur un système, ou bien pour le co-construire ?
• Qui s’assure de la non partialité du mécanisme et qui le finance ? (institutions publiques ? Associations ?)
• Comment s’assure-t-on que les personnes consultées aient le pouvoir de voir leurs recommandations aboutir ? Si on se réfère à d’autres controverses technoscientifiques, le résultat est plutôt décevant – OGM, enfouissement des déchets nucléaires, etc.
• Comment articule-t-on ces nouvelles formes de démocraties avec celles qui existent déjà (à l’échelon local, national) dans chacun des pays concernés par ces chartes ?

Si on revient à notre modèle « Société dans la boucle », cette liste de questions (non exhaustive) pourrait se résumer ainsi : quelle société ? Quelle boucle ?

Ces questions sont très complexes. Elles touchent à nos modes de vivre ensemble, au régime démocratique et à la liberté d’entreprendre, une des bases du modèle libéral à l’intérieur duquel nous vivons. Liberté dont on pourrait affirmer qu’elle est ici partiellement remise en cause par un processus collectif contraignant. Cependant, si la démocratie technique intervient là et seulement là où des scandales et injustices auraient émergé, on peut avancer qu’elle protègera d’autres libertés que l’ère des « technologies exponentielles » tend à mettre au second plan. Si trop de contraintes tuent la liberté, la liberté ne peut exister sans contraintes. Il va sans dire que cet équilibre délicat n’entre pas forcément dans les stratégies d’innovation décidées ailleurs et pour d’autres raisons. A ce titre, la démocratie technique n’est pas un absolu. L’idée n’est pas d’organiser un référendum dès qu’une startup souhaite mettre un produit sur le marché mais plutôt d’intervenir seulement quand c’est utile. La définition d’ « utile » devant faire l’objet, elle aussi, d’une concertation démocratique. Toutes les controverses techniques n’ont pas vocation à passer sous les fourches caudines de la démocratie, il existe une multitude d’autres échelons pour co-construire, réguler, interdire ou favoriser des systèmes. En témoignent les nombreuses villes qui se « défendent » contre AirBnb ou Uber puis qui finissent par utiliser les données que ces sociétés récoltent, à d’autres fins (des « arrangements » a posteriori[25]). Par ailleurs, c’est aussi dans les écoles qui forment les ingénieurs, designers et entrepreneurs de demain et bien sûr dans les entreprises elles-mêmes, dont certaines décident d’être plus soucieuses des effets générés par leurs activités, que l’avenir se joue (je ne traite pas cette dimension interne à l’entreprise ici, mais notons que c’est un autre axe majeur de la démocratie technique, qui interroge la démocratie en entreprise).

Ces points demandent à revoir la raison d’être de l’innovation, à travers l’intelligence artificielle. Plus qu’une condition du progrès – dont la définition s’est probablement perdue en route – n’est-elle pas en train de devenir un moyen de répondre au nouveau « choc de civilisations » qui opposerait les Etats-Unis à la Chine, et à l’Europe dans une moindre mesure ? Comme on le lit souvent, l’Europe serait « en retard » en ce qui concerne l’intelligence artificielle. Il conviendrait de demander quel étalon mesure ce retard. Sommes-nous en retard par rapport à ce qu’en font les chinois qui s’appliquent à l’utiliser à des fins de contrôle massif de leur population ? Ou bien Par rapport à la Corée, dont certaines smart-cities comme Songdo, font l’objet de nombreuses critiques (surveillance, pollution). Et quand bien même, si ces retards sont assumés, à quoi bon produire des rapports sur l’éthique de l’intelligence artificielle plébiscitant la participation du public et des citoyens si rien n’est fait en retour pour soutenir les initiatives réellement démocratiques qui défendraient un tel modèle alternatif, conscient des enjeux que présentent les nouvelles technologies dans leur rapport à la démocratie ?

Bien sûr, ces quelques pages souffrent de nombreuses limites et à de multiples niveaux. A mon sens néanmoins, le fond de la question consiste (aussi) à savoir quelle « dose » de démocratie nous sommes prêts à mettre dans nos ambitions technologiques. Et en retour, dans quelle mesure les technologies que nous produirons permettront ou non à la démocratie de continuer d’exister[26].

PS : j’ajoute en dernière minute à ce texte la tout récente interview de Bruno Latour au micro de France Inter, à propos des Gilets Jaunes. Je retrouve parfaitement dans ses mots la réalité que je tente d’exprimer ici : « la situation de crise écologique majeure concerne des sujets comme « comment on va changer les bagnoles, comment on va changer l’agriculture, comment on va changer l’habillement, comment on va changer toutes les questions matérielles qui, je le signale, n’existaient pas au moment de la révolution française. » La révolution française pouvait changer l’ordre sociale sans changer l’ordre matériel, or là, depuis le début de cette crise, de quoi il est question : comment on change la voiture ? Qui est la totalité de l’organisation spatiale de la France, c’est une question matérielle ! »

Gardons à l’esprit que l’IA est une réalité matérielle de plus !

Irénée Régnauld (@maisouvaleweb)

[1] Selon Wikipédia : L’apprentissage automatique (en anglais machine learning, littéralement « l’apprentissage machine ») ou apprentissage statistique est un champ d’étude de l’intelligence artificielle qui se fonde sur des approches statistiques pour donner aux ordinateurs la capacité d’ « apprendre » à partir de données, c’est-à-dire d’améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune.

[2] Qui reprend dans les grandes lignes l’article Society-in-the-Loop: Programming the Algorithmic Social Contract publié sur https://arxiv.org/pdf/1707.07232.pdf

[3] Le Digital Labor désigne notamment le travail effectué gratuitement mais pas forcément consciemment par les utilisateurs d’une plateforme ou d’un service en ligne. Voir http://maisouvaleweb.fr/attendant-robots-coulisses-intelligences-artificielles/

[4] Voir Bilan de Parcoursup : “Les conséquences perverses du système sont à l’œuvre” sur https://www.telerama.fr/monde/bilan-de-parcoursup-les-consequences-perverses-du-systeme-sont-a-loeuvre,n5888347.php voir aussi le thread Twitter de Julien Gossa https://twitter.com/JulienGossa/status/1085496987401756677

[5] Voir Algorithmes, la bombe à retardement » : l’enfer de l’évaluation automatisée expliqué par une mathématicienne sur https://information.tv5monde.com/info/algorithmes-la-bombe-retardement-l-enfer-de-l-evaluation-automatisee-explique-par-une-278536

[6] Voir http://www.internetactu.net/2018/11/21/negocier-les-horaires-du-ramassage-scolaire-limpact-du-calcul-sur-la-societe-ne-simposera-pas-par-ses-qualites/

[7] Voir « On a mis un feu rouge improbable à l’entrée de la ville » : les astuces du maire de Lieusaint pour tromper Waze https://www.numerama.com/tech/455697-on-a-mis-un-feu-rouge-improbable-a-lentree-de-la-ville-les-astuces-du-maire-de-lieusaint-pour-tromper-waze.html On pourrait bien sûr épiloguer sur le fait que Waze n’est pas à proprement parler une application utilisant l’IA. Mais qu’en est-il de Parcoursup, si on le compare aux systèmes de reconnaissance d’images de véhicules autonomes de Google ? Quel « degré » d’IA devrait servir d’échelon ?

[8] Voir Surveillance : le réseau français « intelligent » d’identification par caméras arrive https://information.tv5monde.com/info/surveillance-le-reseau-francais-intelligent-d-identification-par-cameras-arrive-242520?amp&__twitter_impression=true ou encore https://www.laquadrature.net/2018/12/19/reconnaissance-faciale-au-lycee-lexperimentation-avant-la-generalisation/

[9] Voir Souriez, vos émotions sont détectées par une intelligence artificielle https://www.20minutes.fr/high-tech/2019339-20170224-souriez-emotions-detectees-intelligence-artificielle

[10] Voir iBorderCtrl : et si l’Europe n’avait pas encore compris ce qu’est l’intelligence artificielle ? https://www.actuia.com/actualite/ibordercontrol-et-si-leurope-navait-pas-encore-compris-ce-quest-lintelligence-artificielle/

[11] Voir PredPol, le big data au service de la police https://www.lemonde.fr/ameriques/article/2015/04/22/predpol-le-big-data-au-service-de-la-police_4620855_3222.html

[12] Voir Captologie, nudge : dans les biais des armes de persuasion massive http://maisouvaleweb.fr/captologie-nudge-dans-les-biais-des-armes-de-persuasion-massive/

[13] Par « gouvernance algorithmique », on entend le socle de règles qui sont implémentées dans un système et qui vont structurer la manière de l’utiliser et donc les comportements qui vont résulter de son usage.

[14] Lire notamment Des sciences, des techniques et de l’ordre démocratique et participatif https://www.cairn.info/revue-participations-2011-1-page-210.htm

[15] Lire à ce titre L’humanitude au pouvoir, (2015, au Seuil) de Jacques Testart, où ce genre de procédé est plus largement décrit

[16] Notamment Choix technologies, choix de société (2003, éditions Charles Léopold Mayer)

[17] Selon la formule du juriste américain Lawrence Lessig dans le célébrissime texte Code is Law – On Liberty in Cyberspace

[18] Voir notamment Véhicule autonome : quelle contribution à la décarbonation de la mobilité ? du cabinet Carbone 4 http://www.carbone4.com/vehicule-autonome-decarbonation/ Précision : je ne rejette pas dans l’absolu les véhicules autonomes, qui auront sûrement un rôle à jouer dans le futur pour la décarbonation des villes. Mais beaucoup dépendra de comment on les utilise : comme substituts aux véhicules individuels thermiques, ou comme « flottes » destinées à l’auto-partage. Du point de vue des constructeurs, c’est une différence majeure.

[19] Voir Doit-on laisser la voiture autonome décider des mutations de l’environnement urbain ? http://maisouvaleweb.fr/voiture-intelligente-ville-bete-chronique-des-futurs-possibles/

[20] Des organismes existent déjà à cet effet, comme la Commission nationale du débat public (CNDP), le Conseil économique, social et environnemental (CESE) ou encore le Conseil national du numérique (CNnum), cependant, leurs pouvoirs sont limités et elles font l’objet de nombreuses critiques.

[21] On parle d’ailleurs de « Explainable Artificial Intelligence » (XAI) pour désigner des intelligences artificielles capables d’’expliquer leurs décisions. Techniquement, les boîtes noires ne sont pas destinées à le rester, même si leur transparence pourrait demander un compromis sur l’intelligence du système. Voir https://en.wikipedia.org/wiki/Explainable_Artificial_Intelligence

[22] Le texte en anglais : « From better healthcare to safer transport, the benefits of AI are many and Europe needs to ensure that they are available to all Europeans. This requires an open discussion and the involvement of social partners, stakeholders and general public. Many organisations already rely on panels of stakeholders to discuss the use of AI and data analytics. These panels include different experts and stakeholders: legal experts, technical experts, ethicists, representatives of the customers and employees, etc. Actively seeking participation and dialogue on use and impact of AI supports the evaluation and review of results and approaches, and the discussion of complex cases. »

[23] Voir https://www.declarationmontreal-iaresponsable.com/la-declaration

[24] S’il est impossible de prévoir de façon exhaustive les effets qu’aura une technologie sur la sphère sociale ou un domaine d’activité, des méthodes existent pour en anticiper quelques-uns (la « scénarisation » chez Peter-Paul Verbeek ou encore la « Déclaration d’impact social et politique » chez Richard Sclove et sans doutes un tas d’autres moyens à chercher dans la pratique des designers). Voir http://maisouvaleweb.fr/peut-on-rendre-la-technologie-morale/ et http://maisouvaleweb.fr/technologie-nest-democratique-devenir/

[25] Notons que dans le cas de Waze, certaines villes alimentent le GPS de données publiques qui viennent ensuite nourrir l’application (appartenant à Google). En échange de quoi ? Ce n’est pas bien clair…

[26] Technologies, réseaux et démocratie sont intimement liés. Comme le montre Timothy Mitchell dans Carbon Democracy (2013, Broché), le pouvoir de nuisance des mineurs à l’ère du charbon leur a permis de constituer des mouvements sociaux assez puissants pour obtenir des avancées sociales. L’ère du pétrole quand à elle, de par sa dimension plus centralisée, verra s’amenuiser ce pouvoir de nuisance. Qu’en sera-t-il des technologies à venir ?