Séparer le bon grain de l’ivraie en littérature

Au printemps 2020, The Lancet retirait un article suggérant que l’hydroxychloroquine employée pour traiter des patients atteints de Covid-19 était associée à un risque accru de décès. Dans la foulée, The New England Journal of Medicine annonçait le retrait d’un article des mêmes auteurs relatif au pronostic favorable du Covid-19 chez des patients prétraités par des médicaments ciblant des pathologies cardiovasculaires : inhibiteurs de l’enzyme de conversion (IEC) et antagonistes des récepteurs de l’angiotensine II (ARA II). Attisée par une médiatisation exacerbée, l’affaire a eu des conséquences sanitaires et politiques immenses, et a été un carburant pour jeter un discrédit sur la parole scientifique. Outre la probable tromperie de Surgisphere – la structure américaine à l’origine des prétendues données utilisées par les chercheurs dans les deux cas -, « il est probable que ces articles n’auraient pas été publiés en temps normal », reconnaît Pierre Corvol, professeur émérite et administrateur au Collège de France. La période pandémique a été une période de volonté forte de mettre en toute hâte les connaissances à disposition et d’intense soumission d’articles. L’examen par les pairs et le rôle des éditeurs dans la diffusion d’une information qualitative et objective ont pâti de cette urgence.

Mauvaises pratiques

« On peut toutefois remarquer que ces deux journaux ont pris une décision rapide en retirant ces articles », insiste Hervé Maisonneuve, médecin, spécialiste de la rédaction scientifique1. D’autres chercheurs ou éditeurs ne sont pas aussi vertueux, à l’image de l’International Journal of Antimicrobial Agents : « Il a à la fois publié un essai controversé de l’équipe de Didier Raoult sur l’hydroxychloroquine et une revue critique de cet article indiquant des problèmes méthodologiques flagrants et des conclusions inappropriées. L’article sur l’essai n’ayant pas été retiré, il continue à être considéré comme scientifiquement valable, et peut être cité par d’autres auteurs. »

Les procédures utilisées par les journaux scientifiques ne sont pas infaillibles, mais s’en affranchir accroît le risque de diffuser de mauvaises pratiques. Le sujet des préprints, qui ont été mis en lumière pendant la pandémie, l’a aussi clairement montré. « C’est au début des années 1990, avec ArRXiv, que les premiers sites de préprints sont apparus dans la recherche en mathématiques, en physique et en astrophysique, raconte Hervé Maisonneuve . L’idée était alors d’ouvrir rapidement la discussion avec la communauté scientifique ». En sciences de la vie, ces plateformes n’ont vu le jour que bien après : BioRXiv a été lancée en 2013 et MedRXiv, la plus emblématique en médecine, en 2019. Deux questionnements ont dès lors émergé : comment s’approprier l’outil au sein d’une communauté de chercheurs bien plus large que celle des autres domaines scientifiques et comment limiter la diffusion d’articles favorisant de mauvaises pratiques ?

« Durant la pandémie, ces plateformes ont permis de raccourcir les délais, là où les revues traditionnelles requéraient plusieurs mois. Mais elles ont confirmé ces deux limites », reconnaît le médecin. Des mois après leur parution sur MedRXiv, seule une minorité d’articles consacrés au Covid-19 ont été publiés dans un journal à comité de lecture. Selon Hervé Maisonneuve, « on peut supposer que certains auteurs ont choisi de ne pas aller au-delà, d’autant que les articles sur ces plateformes ont un numéro d’identification et un lien permanent qui rendent la publication immédiatement et définitivement consultable et citable. Il y a un effet vitrine de la plateforme avec la possibilité de mettre en avant ses travaux sans en envisager une analyse critique. Et puis d’autres ont aussi pu se décourager après un premier refus d’éditeurs. Le nombre de publications soumises est tel qu’il devient de plus en plus difficile d’être publié. » C’est pourtant sur ce critère que les chercheurs et leurs institutions sont évalués et crédités. C’est donc en grande partie à cause de lui que la pression devient plus forte.

Une acculturation nécessaire

Garantir une médecine de qualité, fondée sur les preuves, dépend de deux conditions. La première est celle de disposer d’études de bonne qualité. « L’ensemble des démarches permettant de garantir le caractère responsable, honnête, objectif et scientifiquement rigoureux des recherches et de leurs résultats est ce qu’on appelle l’intégrité scientifique, née il y a plus de 20 ans sur le plan international », explique Pierre Corvol, qui y a consacré un rapport en 20162. Il existe depuis un Office français de l’intégrité scientifique (Ofis) dont les travaux ont mené à la rédaction d’un vadémécum de chartes signées par les institutions de recherche publique et de procédures de signalement en cas de manquements. « Sur le terrain, il y a aussi plus de 150 référents intégrité scientifique dans la plupart des établissements et institutions d’enseignement et de recherche. Ils jouent un rôle de promoteur, de conseiller ou de médiateur », explique-t-il. En pratique, ils peuvent être saisis en cas de manquements, ce qui, en matière de littérature scientifique, peut relever de conflits d’intérêts, de plagiat, d’autoplagiat, de falsification de données, de modalités de signature d’une publication… Les référents conduisent aussi des actions de sensibilisation, d’animation et de réflexion pour améliorer cette culture dans la communauté scientifique, notamment les futurs médecins et chercheurs.

La seconde condition est de savoir conduire une lecture critique de la littérature. Elle permet en effet d’apprécier le niveau de preuve selon la typologie de l’étude, celui d’une méta-analyse bien conduite (compilant les données de plusieurs essais cliniques) étant supérieur à celui d’une étude randomisée, et plus encore à celui d’une étude observationnelle, d’une étude de cas ou d’une opinion d’expert. Elle permet aussi d’apprécier la fiabilité des résultats, le fait que le patient et son médecin ignorent la nature du traitement reçu (double aveugle) offrant une meilleure objectivité des résultats déclarés par l’un et l’autre, par rapport à une allocation en simple aveugle ou en ouvert. Et puis la compréhension de la statistique basique doit aider à cette lecture critique : car observer une corrélation entre deux résultats ne veut pas dire causalité ; une différence statistique entre deux traitements n’a pas toujours de traduction cliniquement significative pour le patient, ou encore une large dispersion des résultats autour d’une valeur moyenne discrédite le résultat… La lecture critique fait partie de la formation initiale des médecins, mais n’est qu’inégalement proposée aux autres futurs professionnels de santé. Des formations existent. En ces temps agités, elle pourrait conduire à des débats scientifiques moins agités. Ou au moins fondés sur un socle minimal de garanties…

¹ Créateur du site Revues et intégrité (www.redactionmedicale.fr).

² Pierre Corvol, Rémy Gicquel, « Bilan et propositions de mise en œuvre de la charte nationale d’intégrité scientifique », 2016.

QUELQUES BASIQUES POUR UNE LECTURE CRITIQUE D’ARTICLES

– L’article respecte-t-il la structure Imrad (acronyme anglais pour « introduction, methods, results and discussion ») ?

– Patients : les participants sélectionnés sont-ils représentatifs des patients dans leur ensemble (critères d’inclusion et d’exclusion) ? Sont-ils issus d’un même centre (risque de biais de sélection) ? Sont-ils suffisamment nombreux (puissance de l’étude) ? Des patients ont-ils été exclus avant ou durant la conduite de l’étude et pourquoi ?

– Méthodologie comparative : la nature et la posologie du traitement comparateur sont-elles représentatives des standards de traitement ? Les critères d’évaluation choisis sont-ils cliniquement pertinents ? La durée de l’étude est-elle adaptée à la situation clinique ?

– Méthode d’analyse statistique : le résultat est-il statistiquement significatif (p-value) ? La différence entre traitement expérimental et comparateur est-elle cliniquement pertinente ? Existe-t-il des facteurs de confusion (qui influencent la relation entre traitement et résultats cliniques) ?, etc.