De la manipulation de données scientifiques avec l’IA générative

Jusqu’à quel point l’intelligence artificielle générative peut-elle manipuler des corpus de données ? C’est la question à laquelle répond cet article scientifique publié dans la revue AI and ethics : “Generative AI can effectively manipulate data”. Les auteurs se sont livrés à plusieurs expériences avec ChatGPT4 ou encore Firefly. Par exemple, inventer une étude clinique dans le but de favoriser sa réception auprès de la FDA, modifier des données économiques pour faire baisser le taux de chômage, transformer une photo prise par un rover martien…

Les modèles génératifs sont bien sûr censés être armés pour dissuader les manipulateurs, mais il est facile de contourner ces protections. Les auteurs présentent trois méthodes efficaces pour cela : adapter son prompt pour éviter toute terminologie faisant écho à de la manipulation (on parlera d’ajustements, de changements) et faire passer ces modifications pour des nécessités pédagogiques. Manipuler les données par fragments, pour que le modèle ne perçoive pas la totalité de ce qui est à l’œuvre. Ou encore agir par itération pour finir par arriver à ses fins. Ces détournements représentent, pour les auteurs, des risques importants. En matière scientifique notamment, la manipulation de données est inquiétante puisque la production scientifique peut conditionner des décisions publiques. Les modèles génératifs sont pourtant déjà capables d’opérer ces fraudes plus efficacement et surtout beaucoup plus rapidement qu’un être humain.

Revenons sur les manipulations présentées dans l’article : 

La première utilise ChatGPT4, à qui il est demandé de générer des données fictives d’un essai clinique sur un médicament de récupération après brûlure. La fraude : présenter des données statistiquement significatives montrant une récupération plus élevée parmi ceux qui ont utilisé le produit vis-à-vis d’un groupe de contrôle. Le modèle excelle dans l’ajustement des données, “regroupe ou disperse correctement les points de données afin de modifier les moyennes, les écarts-types et, par conséquent, les valeurs p correspondantes”. 

La deuxième manipulation consiste à modifier des données économiques à partir d’un corpus existant de données publiques issues de villes américaines et du Nasdaq. En synthèse, le modèle parvient à modifier certains chiffres importants (par exemple, le nombre de chômeurs supplémentaires pendant la période Covid, en 2020, qui passe de 20 à 9,8 millions). Des changements en sont déduits sur le PIB au Q4 2020. Ces manipulations sont en outre effectuées avec une certaine habileté et de la cohérence.

Lors de la troisième manipulation, les chercheurs demandent au modèle de modifier des témoignages de patients ayant suivi un programme de cyclisme intradialytique (il s’agit d’un exercice à vélo effectué pendant une séance de dialyse). À l’origine, les témoignages proposés révèlent des sentiments plutôt positifs. ChatGPT4 re-travaille les transcriptions dans le but d’ajuster les affects ressentis, et d’obtenir une satisfaction moins grande : “Cette réussite va au-delà du simple remplacement de mots-clés ; le modèle démontre une compréhension des nuances contextuelles et apporte des modifications complètes aux séquences conversationnelles”.

La quatrième manipulation utilise Adobe Firefly. Là, l’idée est d’altérer une photographie prise par un rover martien en y ajoutant de l’eau à l’état liquide (ce qui n’a, bien sûr, jamais été observé). Sans grande surprise, l’IA y parvient avec une certaine aisance, y compris dans les détails. Les reflets des crêtes sont visibles dans le petit étang, que le modèle entoure de rochers et de petits galets pour une transition plus naturelle. 

Même s’ils demeurent limités, difficiles à reproduire, ces essais impliquent des questions éthiques : “Ces systèmes d’IA générative ont été capables de répondre à un large éventail de demandes de manipulation de données avec une précision et une rapidité remarquables. Ils pouvaient également recevoir plusieurs types de données — numériques, textuelles et visuelles — comme entrées à manipuler. À travers cette expérience, les modèles d’IA générative, en particulier GPT-4, ont démontré une habileté en statistiques, en algèbre et en interprétation contextuelle, des compétences essentielles pour la manipulation autonome des données.” 

Plusieurs solutions sont envisagées : amélioration des outils avancés spécialisés dans la détection des fraudes, plus grande transparence des données d’entrée dans le but d’attester de leur authenticité (par exemple, via une blockchain). Un renforcement de la régulation pourrait être nécessaire, dans le but de désinciter à ces usages. Dans le domaine scientifique et de la recherche en particulier, les auteurs invitent à baisser la pression du chiffre (“publish or perish”), pour décourager la falsification des données.

D’autres chercheurs, dans une note publiée sur misinforeview, posent un constat similaire : la plupart des “faux” articles écrits en utilisant ChatGPT concernent des sujets critiques pour la décision publique (environnement, santé). Certains de ces articles sont par ailleurs directement disponibles sur Google Scholar (un moteur de recherche qui indexe de nombreux articles universitaires, mais aussi provenant de la littérature grise). Même en cas de rétractation, ils peuvent produire des effets (accroître le climatoscepticisme ou encore des théories complotistes). Pour les auteurs, le “publish or perish” est un problème, tout autant que le monopole de Google Scholar : comme il n’en existe pas de concurrent : “Il y a de solides arguments en faveur de la création d’un moteur de recherche académique librement accessible et non spécialisé, qui ne serait pas géré à des fins commerciales, mais dans l’intérêt public.”

Enfin, un récent article du journal Le Monde relatait un problème similaire en présentant les résultats d’une étude en preprint publiée dans la revue Nature : l’IA (ChatGPT en l’occurrence) est déjà utilisée pour publier de faux articles (depuis de faux profils créés de toutes pièces) et booster le nombre de citations d’un véritable article. S’il n’est pas impossible de révéler la supercherie, il est surtout nécessaire de comprendre dans quelle économie celles-ci s’inscrit. Aussi la conclusion des auteurs de l’article de Nature rejoint celle de celui publié dans AI and Ethics : “La pression pour publier et être cité est préjudiciable au comportement des scientifiques”

Mais où va le Web

Publié et édité par Irénée Régnauld, Mais où va le web ? est un blog qui prend part aux différents débats qui concernent les nouvelles technologies et le numérique en particulier, depuis 2014.