Avec le « Social credit system », il semblerait que la Chine ait opté pour le pire des deux mondes : l’écrasement de l’individu par la masse, relent d’un système communiste dévoyé, d’un côté, et l’absolutisme technologique individualiste, rejeton d’un système capitaliste décomplexé, de l’autre. Voilà déjà quelques années qu’on entend parler du Léviathan numérique chinois qui attribue aux citoyens – volontaires pour le moment – une note à partir de leurs habitudes d’achat, des contenus postés sur les réseaux sociaux ou toute autre donnée jugée utile. Selon Wired, les mieux notés bénéficient d’avantages en nature (facilité d’accès à un crédit, sécurité sociale, position hiérarchique), les autres sont littéralement punis (interdiction d’accès à des restaurants, débit de connexion internet réduit, etc.). C’est ici une parfaite illustration du concept de « gouvernementalité algorithmique » tel que proposé par l’équipe de recherche d’Antoinette Rouvroy et de Thomas Berns. Quand le pouvoir rencontre le Big Data, c’est toute la société qui change… Creusons un peu.
Un article signé par Yaël Benayoun (@Geensly), chercheuse en théorie politique et Irénée Régnauld (a.k.a Mais où va le web ?)
D’une gouvernementalité statistique…
Gouverner par les nombres n’a rien de très nouveau. Déjà en 1829, Adolphe Quetelet, pionnier de l’étude statistique, interrogeait les mutations politiques induites par le développement massif de l’outil statistique. Il est désormais possible de produire un savoir sur une population donnée, c’est-à-dire de connaître le nombre de naissances, de décès, de vaccinés… et d’établir des corrélations, voire des causalités, entre ces différents éléments. Changement de taille… et surtout d’échelle ! Grâce à ces données numériques, l’État réussit à avoir une visibilité sur sa population qu’il est désormais à même de gouverner concrètement. En effet, comment mettre en place des politiques publiques efficaces si l’on ne peut chiffrer les objectifs à atteindre en fonction d’une réalité déjà observée ?
En mettant en évidence l’existence de moyennes, les statistiques ont la double fonction de définir le caractère normal des comportements individuels, et de créer une unité et une cohérence nationale. C’est donc à partir des XVIIIe et XIXe et siècles, que l’Etat, principal producteur de données, devient capable d’agir sur le réel pour rationaliser les organisations sociales et « discipliner » les populations. Il s’agit de « normaliser » les comportements s’écartant de la norme en inculquant de « bonnes pratiques » à la population par la mise en place de politiques publiques spécifiques. A cette époque, cela consiste principalement à concevoir des politiques hygiénistes, pour préserver la santé publique. L’hygiène publique mûrit et les conditions de vie s’améliorent, l’espérance de vie également. Michel Foucault parle alors de « gouvernementalité » et de « bio-pouvoir ». En résumé, ce pouvoir n’intervient plus pour faire mourir (réprimer), mais pour faire vivre (développer la vie à travers le contrôle des masses).
…à une gouvernementalité algorithmique
Le champ des sciences politiques fait intervenir depuis quelques années (notamment avec les travaux d’Antoinette Rouvroy et de Thomas Berns) la notion de « gouvernementalité algorithmique ». Plutôt que de quantifier le réel grâce aux statistiques (avec le risque que les sondés donnent des informations, volontairement ou involontairement, biaisées), on capte des données sur les individus – à la source – grâce à divers objets connectés, à commencer par les ordinateurs et les smartphones. En d’autres termes, les données s’échappent des individus et vont alimenter des bases de données géantes. Que disent ces données ? Tout et n’importe quoi : déplacements, réseaux d’amis, habitudes de consommation.
Ces données (on dit aussi « Big data ») font l’objet de traitements algorithmiques et rendent possible une forme de « téléguidage » en temps réel des individus en orientant leurs choix. Prenons l’exemple type d’une voiture pourvue d’un éthylotest qui détecte que vous avez bu, et refuse de démarrer. Qu’est-ce que cela implique politiquement ? Certes, on peut supposer que cela éviterait un certain nombre d’accidents de la route, et que votre assureur fera des économies. Néanmoins, où est la liberté de l’individu ? À quel moment le laisse-t-on prendre le risque d’être pleinement responsable de ses actes ? A vouloir à tout prix colmater les plaies, il semblerait que les décisions des individus soient court-circuitées par la structure même du procédé technique employé, et les causes oubliées. Dans un cas caricatural comme celui-ci, la transgression est impossible. Le philosophe Slavoj Žižek parle alors de « liberté dans des situations de choix forcés »…
Gouverner sans expliquer
Sans répéter le contenu de l’article de Wired sur le cas chinois (qui est vraiment à lire), on constate vite qu’on a affaire à un certain type de gouvernementalité algorithmique. Certes, les décisions individuelles ne sont pas directement court-circuitées comme dans l’exemple précédent, mais on y précise par exemple, qu’acheter des couches peut faire gagner des points car les parents sont censés avoir « le sens des responsabilités ». Ou encore : si vous êtes en relation avec des individus mal notés, cela peut nuire à votre note…
Cela fait écho au système mis en place par AXA avec la formule « Pay how you drive ». Ce système incitatif vous favorise si vous conduisez bien, ce qui profite au client qui voit sa facture baisser. Alors, quelle différence ? Dans les deux cas, cette note, ou « score », n’est pas contestable. Contrairement à la statistique (sur questionnaire, porte à porte ou autre), avec le Big Data on ne ment pas. Si les systèmes incitatifs en assurance sont très réglementés, on peut imaginer tout un tas de cas d’usage qui pourraient grâce à une incitation ou à une punition, changer nos façons d’être.
Par ailleurs, le Big Data ne prend pas en compte le contexte. Prenons un exemple, et imaginons que vous arriviez très souvent en retard au travail car le bus du coin n’est pas fiable. Le système pourrait mal vous noter, ce qui pourrait nuire à votre avancement professionnel et avoir des répercussions sur votre salaire, votre position sociale, l’avenir de vos enfants, etc. Le problème de bus n’est pas réglé pour autant. Dans d’autres cas, vous pourriez très bien être amené à prendre une décision dans le seul but de gagner des points, c’est-à-dire sans vous interroger le mieux-fondé d’une action sur une autre. Autrement dit, on demande à l’individu d’ajuster son comportement en omettant de lui expliquer pourquoi, et sans tenir compte, de surcroît, des raisons qui l’auraient amené à dévier de la norme (origine sociale, problème psychologique, ou tout simplement choix personnel). Si dans certains cas les raisons peuvent paraître évidentes (ne pas jeter ses déchets dans la rue), et encore, ne généralisons pas, elles peuvent sembler plus opaques dans d’autres situations (après tout, pourquoi n’aurais-je pas la liberté de choisir mes amis, même s’ils sont peu recommandables ?).
Au-delà du scénario totalitaire très semblable à un épisode de Black Mirror, c’est toute une vision du hasard qui est battue en brèche. Si les individus doivent s’aligner sur une norme prédéfinie à chacune de leurs actions (ce qui, par ailleurs, n’est ni possible ni souhaitable), c’est parce que l’on considère la norme comme une fin en soi. Or, rien n’est dit des conditions de production des normes retenues par l’application : elles sont par définition imposées et incontestables. Qui les définit ? A partir de quels critères ? Quelle est leur légitimité ? Le problème n’est donc pas seulement de ne pas pouvoir transgresser la norme, mais de ne pas pouvoir participer à sa définition. Et c’est bien cela que permet la contestation…
Par ailleurs, c’est parfois en sortant de la norme qu’on comprend pourquoi il faut y revenir ou bien la critiquer. Les adolescents fument du shit et crient dans la rue, les couples sont infidèles, les enfants impolis. A qui revient-il de juger ces choix, ces passages ? Que faut-il en tirer sinon que parfois, ce sont aussi eux qui font évoluer la norme ?
A qui la faute ?
On pourrait s’expliquer le cas chinois par plusieurs facteurs. Après tout, c’est le pays de l’enfant unique, la conception de l’individu y est bien différente de la nôtre, le pouvoir est concentré dans les mains d’un parti unique qui contrôle tout et tous. En ce qui concerne les services numériques, la concentration est aussi la règle : l’application WeChat (surnommée « Everything » par les chinois) permet de chatter, d’acheter tout et n’importe quoi, de payer ses factures d’électricité, de louer un vélo, un taxi, un livre, d’envoyer son linge au pressing, de partager une addition, de réserver une place de cinéma ou d’envoyer des instructions à son concierge. Dire du mal du gouvernement sur WeChat est déjà risqué, avec le Social credit system la censure est assumée : vous perdrez des points.
Le risque donc, dans cette nouvelle gouvernementalité, est de passer d’une « normalisation » des comportements (dans le meilleur des cas expliquée, notamment par des campagnes de prévention, les règles d’hygiène par exemple : respecter le calendrier des vaccinations), à la volonté pure et simple de façonner l’homme de toute pièce. L’amener à élire ou réélire un dirigeant, faire passer des dogmes pour des réalités, c’est « le « rêve gouvernemental » de changer les hommes par la technologie » nous dit Antoinette Rouvroy. Dans le plus grand pays du monde, la tentation de mettre les technologies au service d’un tel projet (déjà bien entamé) est forte.
Si le cas chinois est édifiant, l’Occident n’est pas en reste. Eric Schmidt, le patron d’Alphabet (Ex-Google) déclarait à propos des requêtes sur le moteur de recherche éponyme : « je pense que la plupart des gens n’ont pas envie que Google réponde à leurs questions. Ils veulent que Google leur dise ce qu’ils devront faire par la suite ». Si l’hégémonie de Google n’est plus à démontrer, il faut aussi comprendre que l’entreprise vient combler une gouvernance numérique que les Etats ont du mal à se réapproprier. Et pour cause, depuis l’expérience nazie et son rationalisme extrême qui a conduit aux politiques racistes et génocidaires que nous connaissons, il est difficile, en Occident, de concilier institution et technicité sans quelques sueurs froides.
Et Eric Schmidt d’ajouter à propos des données personnelles : « Préféreriez-vous que quelqu’un d’autre les possède ? Y a-t-il un gouvernement auquel vous voudriez les confier ? » Voilà la question que pose aujourd’hui la Chine à l’Occident. Le « Meilleur des mondes » d’Aldous Huxley semble aujourd’hui se construire avec le pire des deux mondes, l’auteur de la fiction déclarait la chose suivante : « à une époque de technologie avancée, la dévastation spirituelle risque davantage de venir d’un ennemi au visage souriant que d’un ennemi qui inspire les soupçons et la haine ». Quel visage aura cet ennemi (ennemi de qui, et de quoi au juste ?), sinon celui du compagnon numérique idéal, susurrant à nos oreilles l’étape à venir, délimitant le bon du mauvais… Les japonais n’ont pas attendu Blade Runner 2049 pour développer ce magistral conseiller virtuel :
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.
Excellent ! Merci pour cet article qui aborde avec brio le problème de la norme.
Je reste convaincu que la technique a un rôle à jouer dans la construction et l’institutionnalisation des « bonnes pratiques ». Les artefacts « transpirent » les valeurs de celles et ceux qui les conçoivent. Ils exercent ainsi toujours une forme de téléguidage éthique ou moral, même minime. Toute technique représente un arbitrage axiologique. Ce qui se joue avec la technologie via la promotion et l’institutionnalisation de certaines valeurs, c’est une partie de l’équation Philosophique, éthique et politique de la régulation de l’individu et du vivre ensemble. La voiture dotée d’un éthylotest contraignant n’est pas forcément une mauvaise technologie, loin, très loin de là, pourvu que l’arbitrage qu’elle matérialise soit issu d’une réelle concertation sur les valeurs qu’elle véhicule (sans mauvais jeu de mot :p). En sommes-nous : ce type de dispositif est-il désirable eu égard à nos arbitrages axiologiques (valorisation morale mais aussi économique de la vie, place de la « liberté de choix » face à cette valorisation, etc.). La liberté s’exprime souvent dans les limites qu’elle s’impose à elle-même. Si le choix de conduire bourré ou non relève de notre responsabilité de « condamnés » à la liberté perpétuelle, cette liberté/responsabilité s’exerce en aval, et ne peux faire l’économie d’une réflexion sur l’amont qui lui donne naissance : n’est-il pas également de notre responsabilité de créer des technologies qui minimisent au maximum leur potentiel destructeur ?
« Quand 1984 rencontre le Big Data », vous en rêviez, la Chine l’a fait ! Il ne leur reste qu’a verser quelques gouttes de Gattaca et on beaucoup d’auteurs de SF d’anticipation se retrouveront au chômage.
Très bon article, merci.
J’apporterai une petite précision à la dernière phrase l’avant dernier paragraphe : « il est difficile, en Occident, de concilier institution et technicité sans quelques sueurs froides. » J’ajouterai « étatique » à institution. Les entreprises aussi sont des institutions et leurs fonctionnement à des implications politiques loins d’être neutre, en interne comme en externe.
Certes l’institution étatique est susceptible de dériver monstrueusement. Et l’exemple que vous donnez de la Chine est effectivement flippant. Reste que j’ai globalement plus confiance en un État « démocratique » (c’est à dire autre que la République Populaire de Chine) que dans une transnationale. Peut-être parce que j’ai la faiblesse de croire le premier plus explicite, transparent, maléable et contestable.
En miroir de tout ça, ce qui m’inquiète plus encore est l’absence de la prise en compte de ces enjeux par une gauche défendant les communs, l’intérêt général et les libertés individuelles en pensant cette défense au-delà du niveau de l’association ou de l’ONG. C’est à dire au niveau étatique.
[…] 21 octobre, Wired sort une enquête très complète sur le « social credit system » en chine, un système qui attribue une bonne note aux citoyens grâce au suivi de leurs actions mises en données. J’en ai parlé ici. […]
[…] « Social Credit System » : la gouvernementalité algorithmique à la chinoise. Avec le « Social credit system », il semblerait que la Chine ait opté pour le pire des deux mondes : l’écrasement de l’individu par la masse, relent d’un système communiste dévoyé, d’un côté, et l’absolutisme technologique individualiste, rejeton d’un système capitaliste décomplexé, de l’autre. Voilà déjà quelques années qu’on entend parler du Léviathan numérique chinois qui attribue aux citoyens – volontaires pour le moment – une note à partir de leurs habitudes d’achat, des contenus postés sur les réseaux sociaux ou toute autre donnée jugée utile. […]
[…] du milieu a pris la décision d’instaurer un système de crédit social intitulé Social Credit System. Le système qui n’est qu’à l’état de projet pour l’instant sera testé […]
[…] Antoinette Rouvroy docteur en sciences juridiques et chercheuse qualifiée du FNRS, Université de Namur. Elle développe avec Thomas Berns le concept de gouvernementalité algorithmique qui tend à expliciter la façon dont les algorithmes imposent une gestion des sociétés sur la base des données qui s’échappent des individus. L’essentiel des travaux d’Antoinette Rouvroy (lire Mise en (n)ombres de la vie même : face à la gouvernementalité algorithmique, repenser le sujet comme puissance) consiste à lever le voile sur les représentations, les idéologies et les projets politiques (ou a-politiques, car c’est bien le sujet : on présuppose que le réel pourrait se gouverne lui-même à travers les données) sous-tendus par le gouvernement des algorithmes. Nous avons à plusieurs reprises fait mention de ses travaux (notamment dans ce billet : « Social Credit System » : la gouvernementalité algorithmique à la chinoise. […]
Sommes-nous à même de nous interroger sur ce qu’il reste d’identité aux individus à l’aulne de tensions internationales à résoudre en matière de climat.
Contrairement à ce que l’on entend beaucoup (v. l’intervention de la Ministre du travail M. Pénicaud aux journées de l’économie 2018 à Lyon – L’avenir de l’emploi et la gouvernance des entreprises), l’interaction sociale, la faculté d’abstraction et de créativité sont bel et bien courcircuitées par l’intelligence artificielle, mais aussi directement dans les organismes. L’ I.A. ne consiste pas exclusivement en des notifications sur des smartphones, certes collecteurs de datas. Il semble que nous n’avons pas encore tout à fait atteint un niveau grand public d’interaction homme-machine de commande directement par la pensée type télékinésie. Cependant, le téléguidage psychique, hormonal, moteur, les stimuli cognitifs, l’IRMf, les transistors synaptiques jusqu’à toutes formes de conditionnement plus ou moins internes ou externes, questionnent quant à la place de l’intentionnalité dans ce qui constitue un individu, ne serait-ce que sur un plan juridique. En effet, si aujourd’hui ces technologies ne peuvent constituer des preuves, ne sont-elles pas pour autant dépourvues d’un potentiel opératoire incontestable, à l’image d’expériences pavloviennes quotidiennes, d’une large marge de manœuvre unilatérale régulatrice up-down.
Endocrinologues, cogniticiens, datascientists, les nouveaux cybernéticiens, ont développé l’hypercontrôle généralisé, l’endosommatisation (v. B. Stigler), au service des valeurs de notre chère bienpensance. Le « bio-pouvoir » foucaldien traite bien d’un bio-pouvoir pour développer la vie par le contrôle des masses mais en exclure la dimension répressive me semble erroné. Quoi qu’il en soit il faudrait militer pour bien davantage de feeback bottom-up avec une telle panoplie de technologies intégrées aux organismes, aux environnements et aux histoires individuelles, transindividuelles, à l’histoire collective.
La politique sécuritaire des gouvernements, en collaboration avec les entreprises de pointe en matière transdisciplinaire de contrôle et de régulation, ne risque-t-elle pas d’abord d’altérer massivement et violemment les identités, puis de mener l’humanité vers une uniformisation telle, qu’elle altérerait significativement les spécificités humaines propres : le rapport à la finitude humaine par un darwinisme social dégénéré, ou l’expression de sa créativité, outre la culture, à titre d’illustration : l’innovation, que seul permettent des conditions de diversité favorisant l’émulation (v. théorie des conditions de la croissance de Schumpeter).
Compte tenu de la volonté des pays émergents de peser sur l’échiquier international, le nouveau contexte mondial de la globalisation laisse perplexe quant à la captation du potentiel de socialisation de l’individu par l’interaction forte d’environnements informationnels de conditionnement. Elle s’opère via une fine gestion de l’attention, qui ainsi court-circuite les identités, au risque de porter atteinte à la prédominance de l’intérêt général en tant que valeur démocratique. À défaut d’atteindre nos engagements bioclimatiques inatteignables à temps (v. Jancovici au Collège de France : l’Habitat du futur), nous risquons fortement de voir naître une saturation source de risques sanitaires et sécuritaires majeurs.
Pour qui donc la gestion de l’énergie et le changement climatique ne sont-ils pas des priorités absolues?
[…] des luttes de classes. Un tel programme n’est pas sans rappeler l’actuel projet chinois de « social credit system », qui attribue aux citoyens de l’empire du Milieu un score notant leurs comportements mesurés […]
[…] éditer le génome grâce à des « ciseaux moléculaires ». Après la mise en place du « Social credit system » qui attribue un score à ses citoyens, l’Empire du Milieu s’illustre de nouveau par son grand […]
[…] de classes. Un tel programme n’est pas sans rappeler l’actuel projet chinois de « social credit system », qui attribue aux citoyens de l’empire du Milieu un score notant leurs comportements […]