Technologies : sortir du biais d’optimisme et commencer à en évaluer les effets

Dans une tribune sur Medium, Sara M. Watson (@smwat) interroge l’efficacité des efforts déployés par les entreprises technologiques pour « disrupter leurs problèmes éthiques ». Elle évoque à ce titre un outil qui permet d’anticiper les effets possibles d’une nouvelle technologie, tout en en soulignant les limites. Ce sujet questionne plus largement notre capacité à comprendre dans quelle mesure la technologie façonne le social, et si nous souhaitons ou non agir sur ces mécanismes.

Comme l’atteste le Dilemme de Collingridge : il est difficile de prédire les conséquences sociales d’une technologie, et lorsque ces effets, notamment négatifs, remonteront en surface, il y a de grandes chances pour que la technologie en question soit devenue incontournable. Ces effets, si l’on reprend la typologie de Jacques Ellul, sont de trois types : « les effets voulus, les effets prévisibles et les effets imprévisibles ». Leur évaluation a priori, pour les technologies nouvelles, est difficile. Cependant, elle n’est pas impossible. Si nous nous en donnons la peine, nous pouvons identifier certaines conséquences de manière proactive afin de réorienter une innovation ou construire des mécanismes de régulation.

Ethical OS

Un des outils – qui est à bien y regarder plutôt une méthodologie – visant à imaginer les effets indésirables d’une technologie est l’Ethical Operating System (Ethical OS), créé par The Institute for the Future (IFTF), un Think tank né en 1968 dans la Silicon Valley. L’objet de la méthode : « ne pas regretter les outils que l’on façonne ». Elle s’adresse avant tout aux décideurs et concepteurs : ingénieurs, Product managers, CEO, etc. Dans son Toolkit consultable en ligne, Ethical OS propose un premier exercice avec quatorze scénarios fictions sous la forme « êtes-vous prêts à un monde dans lequel ..? ».

Un des scénarios raconte un monde où des robots conversationnels ont été entraînés pour imiter un proche et ainsi personnaliser avec force une campagne publicitaire. Un autre évoque un futur dans lequel 60% des jobs autrefois dévolus aux populations latinos ont été automatisés. On y retrouve également les algorithmes capables d’embaucher les « bonnes personnes » en fonction des profils psychologiques, ou encore ceux dits de « justice prédictive » qui aident à prendre des décisions de justice mais qui passent souvent à côté des inégalités structurelles, ce qui donne lieu à tout un tas de biais sociaux et raciaux. Ces scénarios à la Black Mirror dérangent, et c’est justement là leur intérêt pour Sara M. Watson qui écrit qu’il faut briser notre « biais d’optimisme » envers les nouvelles technologies (naturellement, nous avons une tendance à plutôt nous attendre à des événements positifs qu’à des événements négatifs). Pour chacun des scénarios, les participants sont invités à se questionner : quelles sont leurs plus grandes craintes ? Comment différentes populations pourraient être affectées par ce futur ? Que faudrait-il mettre en place pour sauvegarder la vie privée, la démocratie, la santé mentale ? Etc. Cet exercice est une sorte d’échauffement créatif qui met les utilisateurs en bonne condition pour la phase suivante.

« Check your Tech »

Le modèle présente ensuite huit zones à l’intérieur desquelles il peut être difficile de prévoir les effets inattendus et indésirables d’une technologie. Parmi eux l’économie de l’attention et de l’addiction, l’éthique des machines et les biais algorithmiques, la haine et le crime, la surveillance d’Etat ou encore le contrôle et la monétisation des données. Pour chacune de ces catégories, les utilisateurs de la méthodologie sont invités à questionner spécifiquement leur produit ou service (l’exercice s’appelle « Check your tech »). Pour les y aider, un certain nombre de questions sont prévues. Par exemple, la catégorie des risques liés aux inégalités prévoit les questions suivantes : qui aura accès à cette technologie, qui n’y aura pas accès ? Quelle communauté n’en bénéficiant pas pourrait souffrir d’un désavantage ? A quoi ressemblerait ce désavantage ? Quelles différences y aurait-il entre les utilisateurs et les non utilisateurs de cette technologie ?

Concernant les algorithmes, le modèle demande si des biais seront renforcés par le système, si celui-ci est transparent pour les utilisateurs et si des recours de leur part sont possibles en cas de traitement inégalitaire. Pour les questions relatives et à la désinformation et à la confiance, les questions qui ressortent sont : comment des acteurs malveillants pourraient détourner votre technologie pour attaquer la vérité ? Dans quelle mesure votre technologie pourrait-elle être mise au service de la diffusion de fausses nouvelles ? Dans un tel cas, et même si votre plateforme est censée être neutre politiquement, comme pourrait-elle favoriser ou désavantager un gouvernement ? La surveillance d’Etat quant à elle, questionne les effets d’un « tracking » des citoyens, et ce même si à la base, la technologie n’était pas censée servir à cela (par exemple : un réseau social).

Et si ce n’était qu’une banale analyse de risques ?

Pour Sara M. Watson, ces exercices ont l’avantage de passer de l’abstrait au concret, de provoquer des discussions entre ingénieurs au cours de workshop et en ce sens, ils sont appréciables. Cependant, il convient d’interroger leurs effets réels dans le monde de la technologie. IFTF est à ce titre encore incapable de donner des noms d’entreprises qui l’utilisent vraiment, même si le Think tank est engagé de nombreuses discussions et groupes de travail avec beaucoup d’entre elles. Par ailleurs, la méthodologie a fait son entrée à Harvard (computer science) et il y a fort à parier qu’elle se diffuse lentement mais sûrement dans d’autres endroits clés (à Austin par exemple, la mairie a sollicité IFTF pour mesurer les effets de la reconnaissance faciale). Autre point souligné par Watson, la méthodologie Ethical OS n’adresse pas la question de l’éthique comme le ferait un philosophe, avec en tête la mise en place d’un processus de délibération et la responsabilité, par exemple en cas de dysfonctionnement. Pour le dire autrement : rien n’oblige les entreprises à utiliser ces méthodologies, rien ne dit ensuite que les éventuels risques seront pris en compte par les participants qui devront développer une solution et enfin, aucun mécanisme n’est prévu pour rattraper les concepteurs en cas de manquement à une règle qu’ils se seraient fixé (enfin, rien à part la loi qui comme on le sait, court toujours loin derrière la technologie). Pour Sara M. Watson, Ethical OS devrait plutôt s’appeler « Risk OS ». Pour James Williams, chercheur en philosophie et éthique des technologies (Oxford Internet Institute’s Digital Ethics Lab) et qui a travaillé dix ans chez Google, le monde de la tech évite soigneusement la question et n’envisage l’éthique que comme une contrainte. En gros, celles-ci ne seraient pas intéressées par un véritable changement mais plutôt soucieuses de conserver leur pouvoir acquis et leur indépendance.

« Can tech fix itself ? » demande rhétoriquement Sara M. Watson. On connaît la réponse : l’auto-régulation, ça ne marche pas. Ni dans la tech, ni ailleurs. A ce titre, l’actualité de l’éthique des technologies pose elle-même une série de questions éthiques. On voit fleurir des centaines d’initiatives destinées à réguler la tech, l’immense majorité d’entre elles sont créées par des ingénieurs, les entreprises elles-mêmes ou quelques groupes d’activistes. Le Think tank Doteveryone (dont j’avais synthétisé le dernier rapport) les a listés ici. On y retrouve par exemple le « Biosphere code manifesto » qui aborde exclusivement la question des algorithmes et stipule que ceux-ci « devraient servir l’humanité et la biosphère au sens large ». L’initiative « All Tech is human » quant à elle, imagine que nous pourrions être payés pour identifier les effets indésirables des nouvelles technologies. Le site « Calm Tech » de son côté, dresse un certain nombre de principes conviviaux dont le premier est : « Technology should amplify the best of technology and the best of humanity : a) Design for people first. B) Machines shouldn’t act like humans. C) Humans shouldn’t act like machines. D) Amplify the best part of each. Je pourrais également citer la méthodologie des designers éthiques qui permet d’évaluer les fonctionnalités addictives d’un service numérique. Au global, ces initiatives traitent un ensemble hétérogènes de technologies et de méthodes, de la VR à la data-science en passant par les algorithmes, et s’intéressent à leurs effets sur des champs variés : démocratie, écologie, cerveau, etc. Sans surprise, l’autrice termine en expliquant que si tout ceci est intéressant, utile et bienvenu, rien ne remplace les lois. Il faudrait à la fois des restrictions, et des mécanismes de motivation pour inciter à aller vers « plus d’éthique ».

Mesurer ou non les effets d’une technologie est aussi un exercice idéologique

Je tire de tout ceci quelques enseignements supplémentaires. D’une part, quand il s’agit de prévoir les effets secondaires d’une nouvelle technologie, ce ne sont pas les outils qui manquent. Il y a Ethical OS certes, mais aussi le Design systémique, et dans une certaine mesure le co-design. Dans son ouvrage What things do, le philosophe Peter Paul Verbeek expliquait quant à lui l’intérêt du « Constructive Technology Assessment » (CTA) qui permet d’évaluer la morale dans la technologie. Il y présentait également le Value sensitive design (VSD), une méthode développée par Batya Friedman qui prend en compte les valeurs humaines lors de la conception d’une technologie (voir, Value Sensitive Design and Information Systems). Ces solutions vont plus loin que la simple analyse de risque. Richard Sclove proposait de son côté d’introduire des « Déclaration d’impact social et politique » (DISP) lors de l’importation de toute technologie ou innovation scientifique notable susceptible de modifier profondément le paysage politique et social.

C’est d’ailleurs un autre point que je relève : dans la méthode Ethical OS, il n’y a rien qui concerne les mutations urbaines ou encore l’avenir du travail en terme qualitatif. Or on le sait, une nouvelle technologie peut modifier en profondeur l’espace public : c’est le cas de voitures autonomes, dont l’absence d’urbanité (ou de bienséance) change les règles sur la route. Par exemple, une voiture autonome ne replie pas son rétroviseur pour laisser passer un cycliste dans une rue étroite où les camions passent. De façon général, « La voiture autonome va infléchir le « bon sens » en défaveur des usagers les plus vulnérables », expliquent Romain Beaucher et Alexandre Mussche de l’agence Vraiment Vraiment (notons que l’essor de la voiture thermique au vingtième siècle avait aussi empêché les jeux d’enfants dans l’espace public – enfants qui furent d’ailleurs les premières victimes des « écraseuses » dans les grandes villes américaines). Quant à l’avenir du travail, le dernier rapport de Data & Society montrait clairement comment l’introduction de caisses automatiques changeait subtilement, mais pour le pire, le travail des caissiers, le rendant plus difficile encore. Bref, c’est bien de convenir que la technologie n’est pas neutre et d’en envisager les effets à certains endroits, mais il faut aussi convenir que ces endroits ne sont pas fixes : chaque cas est unique.

Le syndrome de la trottinette

Un autre point : comme Sara M. Watson je ne m’explique toujours pas que ce genre de méthodes ne soit pas plus et mieux utilisées dans la vie réelle. Ou plutôt : je me l’explique trop bien. D’abord dans beaucoup d’entreprises se prêter au jeu reviendrait à questionner un business model, à laisser la concurrence prendre de l’avance, bref, c’est éventuellement, mais pas toujours, un risque économique. Eclairons cela d’un exemple récent : on peut convenir que les sociétés qui disposent des trottinettes un peu partout sur l’espace public (Lime, Bird, etc.) sont tout à fait conscientes du bazar qu’elles vont produire. Elles empêchent les passants et personnes à mobilité réduite de profiter du trottoir, tout simplement parce que ceux-ci sont souvent penchés, les utilisateurs doivent donc ranger les trottinettes latéralement pour éviter qu’elles ne tombent à l’arrêt. Le raz le bol est palpable chez les parisiens, on retrouve même des trottinettes dans les poubelles, c’est dire. Ce business demande également à ce que des indépendants payés à la tâche les ramassent (dans des conditions précaires), ceux-là peuvent gagner de l’argent en rechargeant les trottinettes, résultat, certains le font avec des générateurs fonctionnant… au diesel. Il me paraît in-con-ce-vable que personne n’ait pu ou voulu, dans l’entreprise ou dans les villes qui accueillent les trottinettes, prévoir les effets occasionnés par ces nouveaux entrants via a minima une petite étude d’impact. Cela aurait pu permettre d’activer le levier réglementaire plus tôt. Ce qui n’empêche pas que plusieurs villes, comme Toulouse et Nantes les aient interdites, mais cela est dû au fait qu’elles ont été déployées sans autorisation. Moralité : mesurer ou non les effets d’une technologie / d’une innovation est aussi un exercice idéologique. Dès lors qu’on considère la technologie comme un bienfait par principe et l’entrepreneuriat comme son unique courroie de transmission, comme cela semble être le cas dans la startup nation et ailleurs, il n’est pas étonnant que l’on cultive des réticences à ajouter cette « contrainte » à la marche du progrès.

Ce n’est donc pas pour rien que nous en arrivons à ce paradoxe (ou « syndrome de la trottinette »), et je terminerai là-dessus : alors qu’il semblerait que nous vivions une période intense en terme d’innovations (fréquence et variété), nous sommes incapables de prévoir leurs effets. Les innovations pour mesurer les effets de l’innovation sont à la traîne ! Comme l’expliquait James Bridle : « L’accélération technologique a transformé notre planète, nos sociétés et nous-mêmes, mais elle n’a pas réussi à transformer notre compréhension de la technologie ». Certes, le monde se complexifie, les technologies s’enchevêtrent et les interdépendances sont multiples, mais nous ne sommes pas non plus dans Star Trek, avec à chaque épisode une découverte qui bouscule tous les paradigmes scientifiques. Voilà trente ans que le monde se numérise : qui peut encore s’étonner des impacts que pourrait avoir une énième startup sur la vie sociale ? Qui sera surpris de voir que l’automatisation créera des frustrations et que par conséquent, questionner son impact – au delà des purs gains de productivité – en termes social et psychologique est primordial ? Qui peut encore avoir peur du futur, alors que nous ne faisons rien pour essayer de l’anticiper un minimum et dans le meilleur des cas, l’infléchir afin d’éviter qu’il s’empêtre dans ses propres contradictions ?

Irénée Régnauld (@maisouvaleweb), pour lire mon livre c’est par là, et pour me soutenir, par ici.

Mais où va le Web

Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.