Intérêt et limites du co-design d’algorithme : étude de cas

Les recherches sur l’usage de méthodes dites de « co-design » d’algorithmes, dans l’idée de respecter des principes de responsabilité, d’équité et d’explicabilité lors de leur conception, ne sont pas si fréquentes. Pourtant, elles sont bien au cœur des enjeux éthiques inhérents à tout processus d’automatisation. Dans un article de la revue scientifique Big Data and Society, les chercheurs Rianne Dekker, Paul Koot, S. Ilker Birbil, et Mark van Embden Andres relatent un travail de co-design réalisé pendant plusieurs mois dans le but d’améliorer la gestion des provisions de camps de réfugiés au Nigeria. Leur thèse : si le co-design est loin d’être dénué de limites, il peut être un moyen de renforcer les garanties éthiques des algorithmes en incluant dès l’amont les voix des parties-prenantes à son usage.

Estimer la population et les besoins de camps de réfugiés

Les décisions encodées dans des algorithmes ne sont jamais neutres. Des chercheuses comme Virginia Eubanks ou Cathy O’Neil ont de longue date montré qu’automatiser un choix peut faire courir le risque de reproduire plus ou moins consciemment certains biais, voire des injustices. C’est pourquoi depuis quelques années, tout un champ disciplinaire se structure autour de la responsabilité algorithmique et plus largement, de l’éthique du numérique. Seulement, c’est bien souvent a posteriori – une fois les systèmes conçus et déployés – que les questions clés sont posées. L’étude de cas des auteurs et autrices de cet article s’attache au contraire à montrer que c’est bien dès les toutes premières étapes de conception qu’un système algorithmique doit être pensé, avec ceux qui l’utilisent ou qui sont « calculés » à travers lui.

Le cas présenté par Rianne Dekker, Paul Koot, S. Ilker Birbil, et Mark van Embden Andres est bien spécifique. Il s’agit de concevoir un algorithme dans le but d’améliorer la gestion des ressources pour les camps de réfugiés au Nigeria, un pays où résident 2,7 millions de réfugiés. Un tel travail ne  s’improvise pas. Les fluctuations de personnes qui vivent dans ces camps rendent difficile la gestion des vivres et de l’aide de manière générale. Estimer la population d’un camp n’est pas chose aisée, et différents moyens sont employés à cette fin : recensements manuels, images satellites.

Les chercheurs et chercheuses ont tenté d’approcher cette difficile question de l’estimation du nombre de résidents par une méthode de co-design impliquant plusieurs parties-prenantes. Ils exposent dans leur article la méthodologie et les instances mises en place à différentes étapes de la conception de l’algorithme, du choix des données à son entraînement, jusqu’au post-processing (qui permet notamment d’interpréter le fruit des calculs, par exemple visuellement).

Sans entrer dans les détails, notons que des méthodes de co-conception d’objets numériques de tous genres existent déjà : value-sensitive design, human centered design, design participatif (j’en fais mention par ici, là ou encore là – sans oublier le « Design justice » qui interroge plus en profondeur encore la dimension communautaire et politique des démarches de co-conception). L’intérêt du travail des chercheurs est d’appliquer une méthode de co-design à un algorithme, qui n’est pas un objet numérique anodin – il ne s’agit pas d’affirmer que cela est tout à fait nouveau mais en tout cas moins documenté que d’autres objets (apps, objets physiques, etc.).

Co-design : des barrières éthiques à la mobilisation des publics

La collecte des données permettant de recenser le nombre d’individus présents dans un camp de réfugiés n’est pas chose aisée. Traditionnellement, les recensements manuels permettent d’arriver à ses fins, mais ils sont lourds à réaliser, et rapidement obsolètes. Aussi, ils ne permettent pas aux gouvernements et aux ONG d’anticiper correctement les besoins. Les chercheurs planchent donc sur d’autres méthodes pour effectuer ces recensements.

Une piste présentée comme évidente consiste à capter les données de connexion des smartphones qui donnent une indication sur le volume de personnes qui en utilisent. Un autre moyen consiste à utiliser des données satellites qui de leur côté, permettent d’estimer la surface d’un camp et les différents objets s’y trouvant grâce à la reconnaissance d’images (notamment le nombre de tentes). Bien sûr, ces méthodes ne sont pas dénuées de critiques. On peut douter que l’usage des données mobiles respecte le principe de proportionnalité (ou d’adéquation des moyens à un but donné), et plus généralement craindre qu’une surveillance accrue de certains flux de serve à des buts politiques contrevenant à l’idée initiale du projet. Sans nécessairement résoudre ces risques, les auteurs affirment qu’a minima, une co-conception pour améliorer la responsabilité et la redevabilité des algorithmes doit permettre de trancher entre plusieurs options.

Les chercheurs réunissent à cet effet les « parties-prenantes ». Trois acteurs en l’occurrence : The International Organization for Migration (IOM), La Elva Foundation (une ONG qui soutient l’organisation et la gestion de camps de réfugiés), et Notylize, une entreprise spécialisée dans le traitement et l’analyse de données de masse. Les auteurs soulèvent un premier point problématique : s’ils ont été en mesure d’inclure des entités en lien avec les problématiques de ravitaillement et de gestion des flux, aucun réfugié ni manager de camp n’a pu ou voulu participer aux différentes sessions. Ce n’est pas faute d’avoir essayé mais les chercheurs notent que le simple fait que ces personnes puissent participer ne va pas sans poser quelques questions éthiques : les managers et les réfugiés sont déjà surchargés avec les tâches du quotidien. La participation à une démarche de co-design, sans garantie de résultat étant donné les situations personnelles des uns et des autres ne va pas de soi. Par ailleurs, selon l’ONG participant à la démarche, la simple influence occidentale peut déjà représenter un frein à la participation des publics concernés.

Cette première limite de taille ne freine cependant pas l’expérimentation qui dure plusieurs mois (d’octobre 2018 à Mars 2020) pendant lesquels plusieurs ateliers et itérations sont réalisées dans l’équipe-cœur.

Des choix communs à chaque étape

Les auteurs et autrices notent que le co-design n’était pas la seule méthode disponible pour s’attaquer à l’amélioration du recensement et de la logistique des camps de réfugiés. D’autres techniques, plus « data-driven » (orientées par les données et les statistiques) ont été envisagées. Cependant, les parties-prenantes ont vite voulu être au centre de la démarche, et mettre leurs besoins réels en son centre, plutôt qu’un corpus de données qu’elles maîtriseraient mal et qui forcément, risquerait de pécher par son réductionnisme. Le processus mis en place a donc permis de mettre au centre de la démarche les problèmes liés à la disponibilité de fournitures d’urgence, et d’ajuster l’algorithme permettant de compter les occupants des camps dans un second temps, en itérant sur cette même base de besoin : « il a été demandée aux parties prenantes d’apporter leur connaissance et leurs expériences dans le processus de design. A travers deux ateliers et lors des réunions entre les partenaires, des outils pratiques du co-design ont été utilisés pour imaginer une solution idéale, et un prototype. »

En janvier 2019, un premier algorithme est mis au point à partie de données de recensement initiales, avec des projections sur trois mois. Il est cependant décidé de travailler sans ces données jugées non fiables. Des sources de données alternatives sont explorées et le choix de privilégier des données satellites plutôt que Wi-Fi ou mobile est formulé. Cette option détériore légèrement la précision des calculs mais permet en échange de garantir la confidentialité des données. Par ailleurs, les données satellitaires sont souvent publiques et mises à jour mensuellement, ce qui est suffisant pour effectuer les recensements désirés.

L’entraînement de la reconnaissance d’image et des logis – tentes, structures en béton – est également une partie importante du travail de co-design. Tous les camps ne se ressemblent pas, toutes les tentes n’ont pas le même contraste à l’image. Aussi, un travail de pré-sélection à partir d’un camp jugé représentatif est effectué avec le groupe, puis le meilleur contraste possible pour reconnaître une tente est décidé en commun. L’expertise des ONG est précieuse pour effectuer ce travail de différenciation entre ce qui constitue une tente de réfugié d’un autre type d’habitation. Les seuils à partir desquels l’algorithme place une tente dans ou en dehors du calcul – et donc le taux de faux positifs susceptible d’en découler – est également décidé avec les parties-prenantes, et dans l’idée de minimiser les risques pour les réfugiés. Anecdotiquement, les chercheurs signalent qu’initialement, l’algorithme prenait les boutons de Google Earth pour des tentes :

L’algorithme est publié en open-source sur GitHub, de façon à le rendre disponible à l’inspection – pour ceux qui en ont les compétences – et à l’ouvrir à l’utilisation éventuelle par d’autres publics. Si cette ouverture ne permet pas à toutes les communautés de se saisir de l’outil, elle montre au moins que contrairement à d’autres cas de co-design, il ne s’agit pas ici d’extraire le temps et la connaissance des participants dans le seul but de concevoir un produit qui sera vendu sur un marché.

Dans la phase de post-processing, une technique de régression linéaire est utilisée pour estimer la population de 56 camps. Les variables utilisées sont également discutées. Si la surface totale couverte par les tentes est le prédicteur le plus fiable pour estimer le nombre d’occupants d’un camp, c’est finalement le nombre de tentes qui finit par être utilisé pour effectuer l’estimation et faciliter l’interprétation des données. Le nombre d’occupants par tente fait également l’objet d’observations et de discussions, ainsi que d’autres données qui sont ajoutées au fil de l’eau à des fins d’amélioration continue.

***

Soyons clairs : rien ne dit que cette expérimentation produira des effets pour assurer la fourniture de ressources d’urgence plus efficacement dans le futur – faute de passage à l’échelle, et la crise du Covid 19 n’ayant pas aidé – elle reste néanmoins riche d’enseignements.

Elle tend tout d’abord à montrer qu’il est possible de s’approcher de la responsabilité algorithmique en invoquant dès les phases amont les personnes ou organisations premièrement concernées par un calcul. A chaque étape de la conception de l’algorithme, de nouvelles questions se posent et peuvent faire l’objet de nouvelles négociations ou apports d’expérience. Quand bien même les solutions les plus optimales d’un point de vue technique ou statistiques ne sont pas toujours retenues, on connaît les raisons pour lesquelles certains compromis ont été réalisés, car ceux-ci sont documentés.

Les données qui nourrissent l’algorithme perdent ainsi leur caractère opaque et mystérieux : chacun sait de quoi on parle de façon concrète, qu’il s’agisse d’une tente ou volume d’habitants. Le fonctionnement de l’outil reste compréhensible par ceux qui l’utilisent, l’interprétation des résultats également.

Rianne Dekker, Paul Koot, S. Ilker Birbil, et Mark van Embden Andres ne font pour autant preuve d’aucun angélisme à propos de leur travail. Ils connaissent le caractère sensible de leur terrain, savent qu’on ne résout ni les crises migratoires ni la distribution alimentaire par l’usage d’algorithmes. Ces problèmes ne sont évidemment pas réductibles à des défis technologiques.

L’apport de leur papier est d’ailleurs sans doute moins dans la description des étapes de co-design (description qui reste somme toute assez légère) que dans l’invocation de leurs limites méthodologiques. Ainsi, l’impossibilité de « convoquer » les réfugiés, premiers concernés, pour des raisons éthiques, apparaît comme une problématique aussi essentielle que classique – dans la mesure où le plus compliqué dans les méthodes de co-conception consiste souvent à travailler avec le « bon échantillon » des personnes que l’on souhaite accompagner dans une problématique, sans condescendance (« nous allons vous dire que ce est bien pour vous ») et tenant compte de l’envie ou de la disponibilité de chacun.

Les chercheurs en conviennent : l’expérience directe des réfugiés aurait pu servir à améliorer leur systèmes, à mieux connaître les bordures des camps, les caractéristiques des logis, à renforcer l’accessibilité de l’outil final ou encore les seuils de faux positif. J’ajouterais : sans oublier les nombreuses solutions peut-être déjà imaginées par les réfugiés eux-mêmes pour s’outiller ou s’équiper en cas d’urgence. Si le co-design a clairement un intérêt, il ne peut rester dans les mains de quelques-uns, les plus disponibles, experts, voire les classes dominantes dans de nombreux autres cas.

Aussi, les auteurs auraient pu mentionner la nécessité de rémunérer les personnes participant à la démarche, ou a minima la nécessité de mettre en place une forme de reconnaissance qui rend cette participation intéressante. Le simple fait de caractériser un recensement comme une lourdeur interroge le temps passé à recenser – à « compter » les gens – et éventuellement, les autres tâches accomplies pendant cette opération, les échanges et le recueil de besoins des réfugiés, etc. Dès lors, c’est une question plus fondamentalement politique qui se pose : quelles ressources est-on disposé à placer sur la gestion des camps de réfugiés… A quel moment une logique gestionnaire devient réellement et pragmatiquement nécessaire ? D’autres solutions ne sont-elles pas disponible ? Etc. Questions sans lesquelles toute tentative technique de résoudre les problèmes propres à ces camps risque de vite sombrer dans une forme de solutionnisme technologique.

Bien que l’absence des réfugiés ait été partiellement compensé par les ONG, de futures recherches en la matière devraient selon les chercheurs tenter de mettre en place les moyens suffisants pour co-designer dans de telles circonstances. Car c’est bien là l’enjeu d’une démarche de co-conception : comment susciter de l’engagement, redonner aux personnes concernées une capacité à agir concrètement sur leur quotidien ? Il s’agit bien d’une démarche politique. A ce titre, même si l’on comprend les raisons pour lesquelles les réfugiés n’ont pas directement été investis dans la démarche, on s’étonne que les chercheurs n’aient pas plus cherché que cela à les connaître, même indirectement. Il y aurait pourtant mille questions à poser pour tenter de qualifier des groupes d’individus qui ne sont très probablement pas homogènes.

Les auteurs concluent néanmoins que les parties prenantes ont perçu la valeur ajoutée de la démarche malgré ses limites : « notre étude de cas de co-design dans l’objectif de soutenir la logistique de biens de première nécessité dans des camps de réfugiés démontre que le co-design peut mener à une algorithmisation responsable dans le choix des données d’entrée et capable de prévenir les biais algorithmiques ».