Vous utilisez un navigateur obsolète. Merci de mettre à jour votre navigateur pour profiter pleinement du site.
Modifié le :
Chercheur en informatique, Guillaume Cabanac répond aux questions du Quai des Savoirs à propos du logiciel qu’il a mis au point pour détecter des articles scientifiques à la fiabilité problématique.
Lors de la pandémie du au Covid19, le rythme de publication des articles scientifiques a fortement accéléré, ce qui a conduit à diminuer le temps accordé au peer reviewing (le travail de relecture par les pairs, élément incontournable de la méthode scientifique), risquant l’augmentation du risque d’erreurs et de fraudes. Ce système de relecture par les pairs, pourtant censé être le garant de la fiabilité et du sérieux des publications et revues scientifiques, se trouve alors remis en question.
Guillaume Cabanac, chercheur spécialisé en informatique, a mis au point dans le cadre de ses recherches un logiciel – Problematic Paper Screener – permettant de détecter des articles scientifiques à la fiabilité problématique.
Quai des Savoirs : Pour votre travail sur les publications scientifiques frauduleuses, en collaboration avec le chercheur grenoblois Cyril Labbé et l’informaticien russe Alexander Magazinov, la revueNature vous a identifié parmi les 10 personnalités qui ont marqué la science en 2021. Pourriez-vous nous parler du travail qui vous a valu cette éminente distinction ?
Guillaume Cabanac : Les travaux de 2021 ont porté sur l’automatisation de la détection d’articles publiés bien que dénués de sens. J’ai publié en mai 2021 avec Cyril Labbé de l’Université Grenoble-Alpes une méthode qui a identifié 243 articles produits par un programme générant de manière aléatoire et automatique des articles scientifiques (Scigen) : totalement bidons et pourtant publiés (parfois vendus) par Elsevier, IEEE, IOP et d’autres éditeurs réputés. Avec l’apport d’Alexander Magazinov de Yandex Russia, nous avons poursuivi ces travaux pour traquer 943 « expressions torturées » à ce jour, telles que : « conscience contrefaite » à la place de « intelligence artificielle » ou « déception rénale » au lieu de « insuffisance rénale ». Totalement aberrantes, ces expressions figurent pourtant dans 7.000 articles parus dans des revues d’éditeurs réputés, principalement en ingénierie et en santé. Elles résultent d’une forme de plagiat inédite en science : « copier/paraphraser/coller ». Les faussaires volent des passages d’articles publiés, utilisent un programme pour changer les mots par des synonymes et s’approprient ce texte paraphrasé. L’inspection de ces articles frauduleux révèle d’autres problèmes : identité d’auteur usurpée, images volées, passages de textes générés algorithmiquement et dénués de sens…
Partisans de la science ouverte, nous avons posté un preprint [brouillon d’article de recherche non évalué par les pairs] sur arXiv [archive ouverte de prépublication en ligne d’articles scientifique] détaillant méthode et résultats le 12 juillet 2021. Des journalistes scientifiques ont immédiatement couvert ce résultat dans Nature et RetractionWatch. Sous-titré « Open Call for Investigation » notre preprint invite la communauté scientifique à participer à l’effort d’analyse post-publication des milliers d’articles problématiques listés sur le Problematic Paper Screener que j’ai développé pour éplucher l’intégralité de la littérature scientifique toutes les nuits. Tels des détectives enquêtant sur une piste à partir de « tuyaux » révélés par des indics, des dizaines de scientifiques exploitent ces indices et postent leurs rapports de (ré)évaluation sur PubPeer [site internet permettant de formuler des commentaires sur des articles scientifiques en post-publication, mais aussi de signaler des soupçons de manquements à l’éthique scientifique.]
Cette activité d’évaluation post-publication est soutenue par l’Office Français de l’Intégrité Scientifique, département du Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES), comme souligné dans sa note de septembre 2021. La prise en compte de l’éthique et de l’intégrité de la science et de la recherche scientifique est quelque chose de nouveau en France et dans le monde. Le covid a permis de faire émerger cette prise de conscience et de la rendre conséquente.
Quai des Savoirs : Comment fonctionne le logiciel (Problematic Paper Screener) que vous avez élaboré ?
Guillaume Cabanac : Le Problematic Paper Screener (PPS) comprend huit détecteurs, chacun visant à débusquer des articles non fiables selon des méthodes et critères différents : plagiat, génération de texte, citation d’articles non fiables, notamment. Le PPS interroge chaque nuit la base bibliographique Dimensions pour identifier, parmi les 120 millions d’articles scientifiques indexés, ceux qui contiennent des phrases torturées, ou d’autres indices de non-fiabilité. Ainsi, PPS s’appuie sur plus de 1.000 phrases torturées pour identifier les articles et de nouvelles sont découvertes et ajoutées tous les jours. Ceci donne un effet boule de neige : plus il y a de phrases, plus il y a d’articles analysés qui permettent d’identifier de nouvelles phrases torturées et ainsi de suite … Ces articles suspects sont listés sur le PPS pour que des détectives (des scientifiques, des amateurs-chasseurs d’erreurs, le grand public…) les ré-évaluent à l’aune des problèmes identifiés. PPS est, entre autres, un site web permettant de rechercher à l’aide de mots clés des articles problématiques pour participer à leur réévaluation. En faisant un premier tri dans l’ensemble des articles publiés dans le monde, PPS facilite ce travail de débunkage.
Lorsque l’analyse humaine confirme les suspicions du PPS, les détectives sont encouragés à poster un rapport d’évaluation post-publication sur la plateforme PubPeer.org. PPS propose des modèles pour effectuer des signalements sur Pubpeer à l’aide de captures d’écran, en son nom ou anonymement. En donnant librement accès aux articles identifiés, PPS permet à tous de participer à leur débunkage. Cela permet ainsi une ré-évaluation décentralisée et incite à la recherche participative. En effet, les détectives peuvent être des amateurs : un petit bagage scientifique permet à tous de participer à la réévaluation des articles.
Quai des Savoirs : Votre travail a été distingué par la revue Nature, est-ce le signe que scientifiques et chercheurs ont décidé de faire face à ce phénomène de “fausses publications” ?
Guillaume Cabanac : Durant la décennie passée, les scientifiques ont progressivement pris conscience des pratiques délictueuses d’éditeurs prédateurs qui font payer des frais pour publier vite et sans évaluation ou si peu à des auteurs parfois crédules, parfois complices.
La réputation des maisons d’édition et le ciblage de revues classées dans le Journal Citation Reports de Clarivate Analytics ou Scopus d’Elsevier offrait, pensait-on, une assurance de qualité et d’intégrité scientifique. Nos résultats démontrent le contraire : des milliers d’articles problématiques sont parus, déstabilisant la confiance que la communauté a placé dans le processus d’évaluation opéré par des dizaines de revues épinglées, publiées par des industriels qui ont remplacé les rigoureuses sociétés savantes d’autrefois.
La distinction de Nature a mis le projecteur sur une part minime, mais bien présente, d’articles non-fiables évalués par les pairs et publiés dans des revues établies dont la fiabilité n’avait jamais été contestée jusqu’alors.
Ainsi, certains chercheurs proposent de mettre en place des challenges à la manière des entreprises d’informatique qui engagent des hackeurs pour trouver des failles dans leur logiciels avant leur commercialisation. L’idée serait d’inciter les chercheurs à identifier les articles frauduleux, une sorte de hackage volontaire de la science permettant d’anticiper les problèmes qui pourraient survenir. Sur ce principe, quelques maisons d’édition sont en train de mettre en place cette idée à la manière d’une chasse aux articles frauduleux : « Wanted : fake articles ». D’autres commencent à intégrer PPS – disponible en open source – à leur chaîne d’édition afin de limiter voire d’éviter de publier des articles problématiques.
Après avoir vu un de leurs articles signalés sur Pubpeer, il arrive que les auteurs répondent mais c’est là une toute petite minorité. La Chine, par exemple, a drastiquement changé sa politique au lieu d’inciter les chercheurs à toujours plus publier, elle poursuit aujourd’hui les fraudeurs (4). Certains auteurs répondent qu’il s’agit-là de leur façon de s’exprimer mais lorsque des dizaines de phrases torturées sont identifiées dans leur article, cette justification semble bien faible. Un autre exemple est le cas d’un article publié par une chercheuse et une étudiante. Suite au signalement, l’étudiante a répondu qu’elle ne savait pas qu’il n’était pas autorisé de « copier/paraphraser/coller ». Mais ce n’était pas le seul aspect problématique de l’article. Une partie de l’état de l’art avait été rédigé à l’aide d’un logiciel de réécriture ce qui est aussi une fraude. Dans ce cas-là, il doit donc y avoir une part sincère d’erreur et une part de mauvaise foi.
Les maisons d’édition retirent de plus en plus d’articles. Parfois même des numéros entiers : c’est souvent le cas de numéros spéciaux pour lesquels une seule personne, l’éditeur, a pour mission à la fois de choisir les articles, le comité de relectures, de valider les articles … Et si l’éditeur est un fraudeur alors l’ensemble du numéro est entaché et tous les articles doivent être retirés.
Aujourd’hui, la science s’auto-corrige, un peu plus, un peu mieux. C’est un travail important mais de longue haleine car retirer un article ne suffit pas : il faut identifier comment l’erreur identifiée s’est propagée en identifiant l’ensemble des articles qui citent celui-ci. Le fait de s’être basé sur un article qui se révèle faux voire bidon peut mettre en péril l’ensemble des résultats auxquels les auteurs sont parvenus. C’est alors toute la chaîne de citation qui constitue la science qui est mise en péril. Récemment, un nouveau module (Feet of Clay) a été ajouté sur PPS. Il permet d’identifier les articles qui citent des articles qui ont été retirés ou qui contiennent des phrases torturées et ont fait l’objet de commentaires post-publication sur PubPeer.
Quai des Savoirs : La mise en avant des erreurs des publications scientifiques a-t-elle eu un impact hors de la communauté scientifique ?
Guillaume Cabanac : Par le passé, des erreurs en science ont eu un impact sur la société. Par exemple, l’épinard est consommé pour son apport présumé en fer alors que cette croyance résulte d’une erreur dans un article de 1870, corrigée depuis. Les récentes rétractations liées au Lancetgate(5) durant la pandémie de COVID ont contribué à altérer la confiance que la société confère à la science. Les rétractations en masse d’articles problématiques révélées par le PPS, prononcées par les plus prestigieuses maisons d’édition, concourent à assainir la littérature. Plutôt que de mettre la poussière sous le tapis (et ne pas réagir), les maisons d’éditions reconnaissent leurs torts en rétractant les articles non-fiables. Ce processus d’auto-correction de la science est capital pour assurer les scientifiques et le grand public de l’intégrité de la science.
Quai des Savoirs : La confiance que nous pouvons accorder aux publications scientifiques en est-elle modifiée ?
Guillaume Cabanac : Nos détecteurs ont identifié des problèmes de fiabilité pour 3 articles sur 10.000 publiés en 2021. Cette recherche a conduit à la rétractation de plus de 800 articles d’Elsevier, de Springer et autres. Cette dépollution évitera que des étudiantes et étudiants, des collègues ou des intelligences artificielles exploitent des résultats scientifiques invalides. Tout ceci interroge quant à la rigueur de l’évaluation par les pairs pratiquée par les revues établies, avec facteur d’impact [indicateur estimant la visibilité d’une revue scientifique] et publiées par les maisons d’éditions les plus prestigieuses. Bien entendu, les chercheurs vérifient leurs sources et Pubpeer est un bon outil pour cela. À titre individuel, il convient de faire preuve d’esprit critique et de recouper ses sources… des compétences enseignées très tôt et à travailler tout au long de la vie !
est maître de conférences habilité à diriger des recherches (HDR) en informatique à l’université Toulouse III – Paul Sabatier. Il est membre de l’Institut de recherche en informatique de Toulouse (IRIT-CNRS/Toulouse INP/UT1 Capitole/UT2J/UT3 Paul Sabatier) et siège au Comité national du CNRS en qualité de membre nommé du Conseil scientifique de l’Institut des sciences humaines et sociales (InSHS). Il a mis au point, dans le cadre de ses recherches, un logiciel – Problematic Paper Screener – permettant de détecter des articles scientifiques à la fiabilité problématique.
[VIDÉO] [PODCAST] En partenariat avec le Café des Sciences, retrouvez une sélection de vidéos sur la thématique de l’intelligence artificielle, en écho à la programmation 2024 du Quai des Savoirs.
[VIDÉO] Le blob est un organisme étrange, fascinant, et peut-être en danger. L’occasion de plonger dans la science pour mieux le connaître. À moins qu’il s’agisse de plonger dans le blob pour mieux connaître la science ?
