Pourquoi tant d’études sont-elles peu fiables ?

Pourquoi tant d’études sont-elles si peu fiables ? Comment garder sa lucidité dans un monde de “preuves” scientifiques… Le mois dernier, j’ai partagé sur mon blog une étude japonaise concernant la FIV qui avait beaucoup fait réagir. Vous avez été quelques-uns à m’écrire pour me demander : Comment est-il possible qu’une étude scientifique puisse être à ce point bancale et pourtant publiée et relayée ? Comment se fait-il que des études aussi peu sérieuses puissent être utilisées pour orienter des décisions de santé publique ? (pas cette fois-ci). J’ai adoré qu’on me pose ces questions, je les trouve géniales et clairement dans l’air du temps. Alors je vous partage la réponse (que j’ai un peu retravaillée pour l’occasion).Il ne faut pas sacraliser le mot “étude”, ni y accorder une confiance aveugle. La science n’est pas une religion. C’est un outil, et le résultat obtenu dépend de la main et du cerveau qui l’utilisent. Ce qu’on appelle une « bonne étude » Avant d’aller plus loin, il faut rappeler qu’une vraie étude scientifique suit une méthodologie claire, reproductible, avec un protocole défini à l’avance et qui élimine au maximum les interprétations ou les biais.Elle teste une hypothèse sans chercher ni à la prouver ni à la réfuter, mais juste à en vérifier la validité par l’observation. Une étude qui démontre que l’hypothèse tombe à l’eau est parfois plus utile, même si on n’en entend jamais parler, qu’une étude qui dit « ça y est, c’est révolutionnaire ». Dans l’idéal, elle est conduite en double aveugle (ni les participants ni les expérimentateurs ne savent qui reçoit quoi), avec un groupe témoin, et sur un échantillon significatif. Ensuite, les résultats doivent pouvoir être reproduits par une autre équipe.Une bonne étude ne crie pas à la vérité. Elle propose des données à interpréter avec rigueur. C’est une démarche d’humilité, pas une démonstration de force. Alors pourquoi tant d’études sont-elles faussées ? 1. La crise de la reproductibilité Depuis à peu près 15 ans, de plus en plus de chercheurs s’inquiètent : la majorité des études publiées en psychologie, en nutrition, en médecine ou en biologie ne sont pas reproductibles. Si une autre équipe recommence l’étude en suivant le même protocole, alors elle obtient des résultats différents, voire opposés.La revue Nature (qui publie ces études) a mené une enquête auprès des biologistes : plus de 60 % échouent à reproduire les résultats publiés. (En psychologie, on est à 70 % de résultats invérifiables…).Ce n’est pas seulement un problème de détail : cela signifie que nous nous appuyons sur des châteaux de sable. Même dans des domaines aussi sensibles que la fertilité, le cancer, la dépression ou la santé digestive, il devient primordial de comprendre l’étude et de ne pas s’arrêter au titre. 2. Le financement oriente les résultats. Évidemment ! Sans tomber dans le complotisme, on peut s’attendre à ce qu’une entreprise qui finance une étude souhaite que les résultats aillent dans son sens. On retrouve alors souvent des études qui démontrent l’efficacité ou l’inoffensivité du produit que le sponsor vend. Et cela fonctionne. Il est bien documenté que les études financées par l’industrie pharmaceutique, agroalimentaire ou cosmétique ont 4 à 5 fois plus de chances de produire un résultat favorable au commanditaire. On se retrouve ainsi avec des études « scientifiques » vantant les bienfaits des céréales sucrées au petit-déjeuner, des yaourts allégés, de l’aspartame ou de régimes totalement déséquilibrés – du moment qu’ils sont vendus par les bonnes multinationales.Et le pire, c’est que ces études sont ensuite relayées au niveau national et qu’on en voit tous les jours les publicités. On devine alors aisément que nos amis pour la vie sont également les amis des financiers. 3. La course à la publication La question est alors de se demander pourquoi les chercheurs acceptent de faire des études peu reproductibles. Mais c’est oublier qu’ils sont comme vous et moi, qu’ils ont besoin d’un métier, d’un salaire et que, pour obtenir des financements, progresser dans leur carrière ou être simplement reconnus, ils doivent publier à tout prix. C’est le fameux “publish or perish” (publier ou périr). Ce système pousse à publier vite, souvent, et parfois n’importe quoi.Résultat : des études à petit budget, sans groupe témoin, mal menées, avec des interprétations bancales, sont publiées tous les jours. Et on publie surtout les études qui “marchent”, c’est-à-dire qui produisent un effet visible. Si une étude montre que “rien ne se passe”, elle est moins bien reçue par les revues, alors qu’elle pourrait être capitale pour l’avancée de la science. Mais elle n’intéresse pas. Ce qu’on appelle le biais de publication.On sélectionne les études positives, on jette les négatives. Le tableau final est donc faussé. 4. Les médias amplifient le problème Vous l’avez sans doute déjà lu : “Une étude prouve que boire du vin rouge rallonge la vie”“Le jeûne intermittent soigne la dépression” Le problème ? Ce sont souvent des résumés de résumés de résumés, relayés par des journalistes qui n’ont ni le temps ni la formation pour aller lire l’étude complète (quand elle est accessible).Ils s’appuient sur un communiqué de presse, rédigé par l’université ou le sponsor de l’étude, qui a tout intérêt à exagérer les résultats. Le lecteur lambda, lui, retient juste que “la science dit que…”.Mais la science ne dit rien. Ce sont des gens qui parlent au nom de la science. Et certains parlent très fort, très mal, ou très vite. Typiquement, j’ai vu récemment que le polyphénol contenu dans le vin rouge était bon pour la santé. C’est vrai ! Mais pour obtenir un effet notable, il faudrait en boire 420 L par jour. Je vous laisse faire le calcul…Les études sont aussi souvent faites en laboratoire et non reproductibles dans la réalité. De la même façon, on lit tous les jours des titres d’articles vantant le jeûne (notamment sur la régulation métabolique, la baisse de l’inflammation ou l’autophagie). On y associe d’ailleurs souvent le prix Nobel de médecine… Et c’est vrai, il y a de superbes choses à constater grâce au jeûne. Pour autant, le jeûne