Pour la chroniqueuse Caroline Sinders, paniquer à cause des robots-tueurs tient du ridicule. C’est un écran de fumée qui masque les véritables enjeux de l’intelligence artificielle. Des enjeux bien plus urgents et concrets qui demandent notre attention immédiate.
Je livre ici une version française de sa lettre à Elon Musk (Zip2, PayPal, SpaceX, Tesla et SolarCity), avec l’aimable autorisation de son autrice. Le texte original a été publié sur le site fastcodesign. Caroline Sinders est designer d’interaction, chercheure et chroniqueuse chez Fast Company/Co.Design, son profil Twitter : @carolinesinders. Note : vu le ton employé, j’ai préféré le tutoiement au vouvoiement.
Cher Elon,
Nous ne nous sommes jamais rencontrés mais si j’ai bien une certitude, c’est que tout va bien se passer, promis. Pose ton café, ton whiskey. Les robots-tueurs ne vont pas venir toquer à nos portes, malgré tes inquiétudes du mois dernier (et plus récemment, ton appel à leur interdiction totale).
La singularité n’aura jamais lieu et les seuls dérèglements sévères qui devraient réclamer notre attention sont ceux du changement climatique, pas de l’intelligence artificielle. I, Robot était une fiction, son adaptation un navet. Tout ceci n’est pas notre futur.
Mais.
Tout un tas de choses inquiétantes pointent quand on en vient à aborder les questions de l’apprentissage machine et de l’intelligence artificielle. Et tu devrais t’en inquiéter. Vraiment.
Tu devrais jeter cet œil inquiet (et attentif) au Rapport AI Now (2016). Tu devrais te soucier des thèmes qu’ils mettent en lumière, notamment en ce qui concerne les impacts sur le travail, la santé, l’égalité et l’éthique à l’heure où l’intelligence artificielle s’insinue dans nos vies quotidiennes. Tu devrais te soucier de qui décide de ce que sera le futur pour qu’il reste un oeuvre collective. Tout le monde n’est pas à Washington ni dans la Silicon Valley.
Tu devrais réfléchir à la façon dont l’apprentissage machine change nos façons de travailler et le travail tout court. Tu devrais te préoccuper de l’impact de l’intelligence artificielle sur la création et la destruction de nos emplois, te soucier des questions éducatives, de formation à de nouveaux métiers et des allocations et modes de redistribution qui devraient résulter d’une reconfiguration du travail par l’IA. Tu devrais considérer la question de l’automatisation non pas seulement du point de vue de la robotique mais sous l’angle des infrastructures : comment les industries du transport, de la logistique, seront affectées par l’apprentissage machine ? Scoop : elles le sont déjà au prix de nombreux emplois. De très bonnes lectures à ce sujet, ici. En fait,Tu devrais regarder ces vidéos du congrès AI Now 2017. Par là aussi, quelques-unes de mes préférées. Mais si tu ne devais en regarder qu’une seule, c’est celle-ci.
Tu devrais te préoccuper des articles publiés par ProPublica sur les biais algorithmiques, notamment celui-ci qui explique comment les logiciels de police prédictive accusent de façon inconsidérée les noirs et beaucoup moins les blancs. Tu devrais te soucier de cet autre article de ProPublica qui indique que certains assureurs augmentent les prix pour les personnes de couleur. Les raisons sous-jacentes ne sont pas si claires mais selon ProPublica, des algorithmes prédateurs favorisent les quartiers blancs plus que les autres. La négligence derrière cette masse de données devrait t’inquiéter. De la même manière, tu devrais te soucier des défauts de conception évidents qui existent dans les logiciels de reconnaissance faciale et émotionnelle que nous utilisons déjà. Ce ne sont pas là des cas isolés, ces systèmes opèrent à de larges échelles.
Tu devrais t’inquiéter de la provenance des données qui entraînent ces algorithmes. Tu devrais t’offusquer de voir ces données récupérées sans consentement explicite, comme l’a montré The Verge dans cet article qui rapporte que des images de personnes transgenres en transition ont été utilisées sans leur consentement dans le cadre d’un projet de recherche portant sur la reconnaissance faciale grâce à l’intelligence artificielle. Tu ne devrais pas seulement te contenter d’être inquiet, tu devrais t’indigner de cette véritable faillite éthique.
J’ai l’impression de te faire la leçon, c’est le cas. Sans conteste, je te fais la leçon. Tu en as besoin. Tu es en position de pouvoir et en mesure d’impulser de vrais changements. A la place, tu fais du bruit, tu agites les peurs à propos de quelque chose qui n’arrivera jamais. Pourquoi créer cette panique qui n’a pas lieu d’être ? Il y a des choses bien plus critiques que les robots tueurs.
***
Les robots-tueurs : idiots utiles du faux débat qui agite l’intelligence artificielle
Elon, tu devrais t’inquiéter en lisant cet article de la MIT Technology Review qui aborde les failles de sécurité des voitures autonomes et des risques de piratages qui y sont liés. Tu devrais te soucier qu’une de tes voitures n’aie pas su gérer l’ensoleillement, ce qui a conduit à la mort d’une personne. Tu devrais t’inquiéter de comment les voitures sans chauffeurs côtoieront les automobilistes sur les routes.
Je n’essaie pas ici d’être alarmiste, juste réaliste. Chacun d’entre nous – consommateurs, créateurs, techniciens – doit s’inquiéter. La série que ProPublica a publié sur les biais algorithmiques ne concerne pas que l’apprentissage machine, elle révèle surtout à quel point ces technologies sont faillibles alors que la plupart des utilisateurs leur font confiance aveuglément, sans même se poser de questions. Dans ce rapport, ProPublica révèle aussi que le système de « scoring » établissant une possibilité forte de « commettre de nouveau un crime » généré par les logiciels de police prédictive était utilisé pour alourdir les peines. Les juges s’en servent comme d’une aide, une « preuve algorithmique » issue d’un nouvel outil au service du système judiciaire. Voici une préoccupation majeure.
Que se passe-t-il quand un utilisateur se retrouve coincé dans une série de systèmes sans pouvoir en sortir ? Que se passe-t-il quand un agent conversationnel est bloqué, quand des données sont fausses et qu’il n’y a personne pour proposer à l’utilisateur d’apporter des modifications ou des rectifications ? Les machines font des erreurs, un point c’est tout. La question est donc : comment ces systèmes gèrent-ils leurs propres erreurs ?
Les gens sont doués pour s’y retrouver dans les situations incertaines – nous avons cette intelligence de circonstance. Tu as déjà dû louer une voiture ou aller chez le médecin en ayant oublié ta réservation ? Une personne peut arranger ça. C’est ce qui fait les bons services de support, spécifiquement dans les bureaucraties lourdes comme la DMV (ndt : organisme public chargé, au niveau de l’État, de l’enregistrement des véhicules et des permis de conduire). Ils sont capables de résoudre des problèmes complexes, en discutant. Les systèmes d’intelligence artificielle sont loin d’avoir cette agilité. Aucun designer ni ingénieur ne souhaite construire un système frustrant pour les utilisateurs, mais un système conçu pour accomplir une tâche spécifique sera toujours rigide dans certains cas. Peu importe son degré de complexité ou d’entraînement.
Elon, tu devrais t’inquiéter des capteurs qui ne reconnaissent pas la peau noire. Tu devrais t’inquiéter des produits insensibles à certaines couleurs, comme par exemple ces distributeurs de savon qui ne réagissent pas aux mains noires. Tu devrais t’inquiéter des caméras qui suggèrent que les asiatiques ont « cligné des yeux » parce que leur système est majoritairement entraîné par des profils de type caucasien. Un autre exemple, avec ce site de renouvellement de passeport qui rejette les photos de personnes de type asiatique. Tu devrais t’en inquiéter car dans ces cas précis, les utilisateurs ne peuvent absolument rien faire parce que le problème est autonome, le problème est dans le code, dans la conception. Tu devrais t’inquiéter des produits aliénants, de ceux qui ne marchent pas pour tous les types d’utilisateurs. Tu es un homme d’affaires, j’imagine que ça t’importe.
Les robots ne vont pas penser « comme les humains ». Il y a tellement de choses inquiétantes aujourd’hui, pourquoi se focaliser sur le futur en mode science-fiction-qui-pourrait-arriver-dans-très-très-longtemps ?
Entre des algorithmes qui analysent des formes et des machines capables de penser et d’inférer comme des humains, il y a un monde. D’un côté, il s’agit d’analyser, de l’autre (ce qui semble soulever ton attention), il s’agit de comprendre l’origine de la pensée. Tu ne devrais pas t’inquiéter des voitures volantes ou des machines devenant trop intelligentes. Je sais que c’est cool, c’est sympa pour se faire peur. Mais ça n’existe pas, ça n’existera jamais. Les machines-devenant-humaines ne devraient pas plus t’inquiéter que de savoir si on vit ou pas dans une simulation à la Matrix. Tu devrais te préoccuper des systèmes susceptibles de nuire aux gens de tous les jours, ces gens qui utilisent tous les produits dans lesquels tu investis. Tu devrais te préoccuper de comment les gens sont affectés par les systèmes que tu créés, et tu devrais – sans cesse – te préoccuper de comment tes produits affectent tes utilisateurs.
C’est bon ? Ravie t’avoir pu discuter avec toi.
Respire.
Caroline.
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.
Elon, tu devrais aussi t’inquiéter de l’obscénité d’un rêve de conquête d’autres planètes alors la notre n’est toujours pas – et de loin – vivable pour tous, non pas par manque d’espace ou de ressources, mais à cause des inégalités inouïes qui s’installent chaque jour davantage. Vendre du rêve fait ta renommée plus que de rendre le réel heureux. Soit leader, soit exemplaire : c’est ici et maintenant qu’il te faut t’engager, pas pour vivre tes rêves d’enfants, mais pour que tous les enfants puissent avoir un avenir sans avoir besoin d’aller le chercher sur Mars.
Mais c’est tellement ça…
Et quid de tous ces rêves sur un futur technologique quel qu’il soit, vis à vis de la fin de la disponibilité des ressources ?
Sur ce sujet je conseil la très intéressante conférence d’Alexandre Monin sur le thème, « Le monde devient numérique a t il les moyens de le rester » :
Elle a rien compris et elle se veut donneuse de leçon… supprime.
Je suis mitigé. Le texte a raison de rappeler que les enjeux urgents liés au numérique ne sont pas les fantasmes de SF sixties, mais je trouve erroné de balayer d’une main cette histoire d’armes autonomes.
La fable, c’est Terminator, c’est l’histoire du robot « conscient », qui n’est effectivement pas pour demain ni après demain, ne serait-ce que parce que personne ne fait de recherches dans ce domaine.
En revanche les armes automatisées, les drones sans opérateur qui profitent des progrès de l’IA pour se déplacer, identifier des cibles et prendre des décisions (en fonction d’un programme et des intentions de l’auteur du programme, évidemment : autonomes mais pas conscientes – le problème n’est pas la perte de contrôle du robot par les humains mais de son utilisation par les humains), ce n’est pas pour dans un siècle ! Bien sûr, pour le moment, ça ne nous concerne pas trop, mais je pense que dans certains pays (ceux au dessus desquels circulent déjà des drones) ça deviendra une réalité très tangible. Pour nous, aujourd’hui et maintenant, les risques liés numérique sont certes plutôt dans les questions de surveillance et de vie privée, de foi dans la prédictivité, etc., et pour ce qui est d’éventuels robots tueurs, nous sommes du bon côté du bâton (et il n’y a pas de quoi pavoiser).
SI Elon Musk, par des prises de position passées, a joué avec l’idée de la machine consciente et hostile et avec la concept de « singularité » (avec Marion Montaigne on ne s’est pas gênés pour se moquer de lui dans notre livre sur l’IA), je pense qu’ici il parle de quelque chose de bien plus concret et de moins fantasmatique, dans lequel il a une responsabilité directe, puisque Tesla est dévoué à l’autonome des véhicules, alors pourquoi pas un jour les véhicules capables de tuer exprès ? Si l’histoire peut nous apprendre quelque chose, c’est bien que les grands progrès technologiques sont souvent liés aux guerres. Et nous ne sommes pas en temps de paix, et nous le serons de moins en moins.
Oui, je pense aussi qu’il y a quelques passages un peu risqués dans ce texte. La critique est plus sur la forme, le traitement médiatique, l’emballement, etc. Vous avez tout à fait raison pour les drones, je le pointais il y a quelques années : « Des 473 frappes et/ou assassinats ciblés hors théâtres d’opération de guerre menés par les Etats-Unis depuis 2002, 98% l’ont été par de drones. » http://resmilitaris.net/ressources/10206/73/res_militaris_article_etcheverry_drones_et_cyber_dans_la_transformation_de_la_guerre.pdf). Nous n’avons bien évidemment pas attendu l’IA pour bafouer le droit, ça n’a rien d’un scoop (il était temps qu’Elon se réveille…). Le problème avec Musk comme avec d’autres, comme par exemple Laurent Alexandre, c’est cet immonde mélange des genres ou d’un côté on promeut un questionnement sur les nouvelles technologies et de l’autre, on inquiète sur des choses totalement irréalistes qui font plutôt grandir l’obscurantisme (voir l’eugénisme, quand on en vient à aborder la question des implants cérébraux, etc.). Nous avons besoin d’un peu de clarté je crois.
On peut effectivement accuser Musk de brouiller les pistes, et aussi d’être juge et partie puisqu’il investit lourdement dans l’IA tout en en faisant un épouvantail…
Je me demande d’ailleurs s’il n’y a pas une part de comm’ là dedans : en disant « c’est dangereux », on rend le domaine excitant, les États et les financeurs investissent plus, etc.
Mais bon, la lettre ouverte dont il est question (qui est signée par deux cent dirigeants d’entreprises high-tech) me semble de bon sens : https://futureoflife.org/autonomous-weapons-open-letter-2017
Oui, il s’agirait de ne pas tirer sur l’ambulance. Mais bon, comme un arrière goût d’hypocrisie.
la religion a un temps vendu du rêve. Elon Musk et quelques autres prennent le relais. Les civilisations ont plus besoin de rêves que d’éthique. Les grands bouleversements qui ont façonné notre présent ont été faits par des aventuriers qui mettaient les scrupules éthiques au fond de leur poche. Savez-vous que l’inventeur du Ziklon B a obtenu le prix Nobel ( pas pour l’utilisation qui en a été faite dans les camps d’extermination nazie évidemment mais pour l’utilisation pacifique qui a été soigneusement mise en valeur ). Alors ne soyons pas trop naïf. Ne comptons pas sur Elon, Mark, Ray et les troupes de scientifiques qu’ils emploient pour faire de l’éthique et de la justice leur objectif premier. L’attrait de la découverte prime sur tout le reste et tant pis pour les dégâts collatéraux.
PS. Je suis en train d’écrire une nouvelle où se mélange joyeusement les délires néo-créationnistes et les rêves d’Elon Musk. Je l’ai intitulée » Blueseed for a new paradise » Je la proposerai au Mouton Numérique prochainement.
PPS. Il n’empêche que les observations de Caroline sont tout à fait pertinentes.
Merci pour ces compléments. Absolument d’accord, il a bien fallu des esclaves pour construire les pyramides et pour permettre aux grecs d’inventer la philosophie. Personne n’y voit rien à redire (enfin, à condition de ne pas être esclave soi-même). Toujours la même question en fait, un grand « progrès » technique demande un grand saut moral (un supplément d’âme, disait Bergson).
Les robots tueurs existe déjà et c’est souvent des drones DJI grefé avec une bombe par daech.
Je n’ai pas encore feuilleté son site web openai.com mais je serai étonné que les robots tueurs y ait une grande place.
Dans le cas contraire, je ne doute pas de l’utilité de ta contribution pour les remettre sur les rails.
Les remarques sont pertinentes, par contre je n’aime pas le ton de la lettre, c’est très donneur de leçon (et je ne pense pas qu’elle soit légitime). Les questions soulevées, tous concepteurs et prescripteurs devraient se les poser mais pourquoi blâmer Elon Musk, il n’est pas responsable de tout les mots de la terre. Bref ok pour le fond, bof sur la forme et au final peut constructif.
Alors pour le ton, il faut garder à l’esprit que c’est ici une traduction. Le tutoiement y est peut-être pour quelque chose (disons que ça renforce un peu le côté donneur de leçon, qui est assumé). Pourquoi blâmer Elon Musk ? Parce que ceux qui s’avancent sur le terrain politique (puisque la technologie est éminemment politique) doivent s’attendre à devoir rendre des comptes. Qui plus est, je remarques que cette lettre que j’ai traduite connaît un certain succès (beaucoup de visites) : je ne m’en félicite pas plus que ça (je n’ai pas le nez sur un compteur et je n’ai même pas écrit ce texte). Mais est très symptomatique de la question que vous soulevez, pourquoi Elon Musk ? Parce que tout le monde s’intéresse à lui. Parce qu’il est un prescripteur, un gourou diront certains. D’autres textes bien plus pointus que celui-ci ne seront jamais lus, et c’est dommage. D’autres critiques plus solides passent à la trappe parce que pour être entendu, il faut attaquer les géants. Je trouve ce fait à la fois extrêmement nuisible aux idées, et aussi très révélateurs des attentes des uns et des autres, comme si le monde devait être dirigé par 2 ou 3 grands hommes (ce sont souvent des hommes…). Alors non, il n’est pas responsable de tous les mots de la terre, et oui, la forme mérite des nuances. Mais voilà, au moins le message est passé.
[…] Cher Elon Musk, oublie les robots-tueurs, voici ce qui devrait vraiment t’inquiéter […]
[…] artificielle serait le prochain grand défi de l’humanité. Parmi ces gens, on peut citer Elon Musk ou encore Stephen Hawking. Quand les tenants et les aboutissants de l’intelligence artificielle […]
[…] 25 août, Caroline Sinders, designer, se fend d’une lettre ouverte à Elon Musk (Paypal, Tesla) qui s’inquiète de l’essor des robots tueurs alors qu’il est un des principaux financeurs de l’IA. Je l’ai traduite ici. […]