C’est un papier intéressant que publient Emily Hadley, Alan Blatecky et Megan Comfort, dans la revue AI and Ethics : “Investigating algorithm review boards for organizational responsible artificial intelligence governance”
Les chercheurs se penchent sur l’efficacité des instances de gouvernance des l’IA responsable (à travers une formule qui ramasse tous ces comités non standardisés : “algorithm review board” ou “ARBs”.
L’étude est basée sur 17 entretiens menés avec des personnes contribuant à ces comités dans des organisations diverses : santé, banque, secteur tech, secteur public. Tout est ausculté : le rôle de ces instances et leur périmètre, la fréquence des rendez-vous, le caractère volontaire ou institutionnalisé des membres, la possibilité d’un véto, la mesure du succès, etc.
Quelques take away pour ceux qui voudraient analyser ou entreprendre une telle aventure :
▶ Un manque de standardisation : Valider un algorithme se fait selon des temporalités et méthodes différentes. Quelques semaines quand les risques sont jugés faibles, jusqu’à une année pour les plus critiques, avec plusieurs points de rencontre. Tous les comités n’ont pas le pouvoir de proposer un “go no go” : la décision peut être arbitraire, faire l’objet d’un vote. Au passage, certaines organisations ne regardent que les risques élevés, d’autres se contentent de traiter ce qui est remonté par les développeurs… (l’IA Act changera probablement ces pratiques).
▶ Définition du succès : Dans tous les entretiens (et donc, toutes les industries), définir le succès des ARB est un véritable défi. Certains mesurent le nombre de dossiers revus, approuvés, d’outils enregistrés… Mais personne ne se retrouve sur un seuil commun. Étrangement, le seul “succès” cité est la capacité à intégrer les comités dans les organes déjà existants dans l’entreprise, qui traitent déjà des questions de risques (par exemple, en santé et en finance).
▶ Rentabilité : Les comités font face à une tension entre responsabilité et profit. L’IA responsable est perçue comme risquant de freiner les développements, particulièrement pour les petites structures. Négliger la responsabilité peut occasionner des coûts, mais les coûts de la responsabilité sont aussi difficiles à couvrir !
▶ Fragilité : Comme le succès est difficile à mesurer, cela peut se traduire par une incapacité à prouver l’intérêt de ces organes. Dans les entretiens, il est souvent mentionné que les équipes de responsabilité ayant du mal à montrer leur impact, le risque est grand qu’elles se fassent tout simplement virer (on pourrait compléter : il arrive qu’elles se fassent virer justement parce qu’elles ont fait leur job !)
Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.