Points clés
1. La science est une construction sociale, reposant sur l’évaluation par les pairs et la publication
La science est une construction sociale.
L’évaluation par les pairs est essentielle. Le processus scientifique ne se limite pas à la réalisation d’expériences, il implique aussi de convaincre d’autres scientifiques de la validité des résultats. Cet aspect social de la science se manifeste à travers le système d’évaluation par les pairs, où des experts examinent les recherches avant leur publication. Ce mécanisme vise à garantir la qualité et la fiabilité de la littérature scientifique.
La publication est primordiale. Les scientifiques communiquent leurs découvertes via des revues, des conférences et d’autres plateformes. Ce partage des connaissances permet un examen collectif, une remise en question et un affinage des idées. Bien que perfectible, le système de publication demeure le principal moyen de diffusion des découvertes scientifiques et de construction d’un consensus au sein de la communauté scientifique.
2. La crise de la reproductibilité révèle une large imprécision des résultats scientifiques
À y regarder de plus près, les « résultats » de l’expérience de la prison de Stanford, tels qu’ils sont, n’ont aucun sens scientifique.
Les problèmes de reproductibilité sont nombreux. La crise de la reproductibilité a mis en lumière des difficultés majeures dans plusieurs disciplines scientifiques. De nombreuses tentatives de réplication à grande échelle ont montré que beaucoup d’études publiées, notamment en psychologie et en biomédecine, ne parviennent pas à reproduire les mêmes résultats.
La confiance s’effrite. Cette crise a ébranlé la confiance dans les résultats scientifiques et souligné la nécessité d’adopter des pratiques de recherche plus rigoureuses. Parmi les exemples de résultats non reproductibles figurent :
- Les effets du « power posing »
- Les études de priming en psychologie sociale
- De nombreuses études précliniques sur le cancer
- Plusieurs traitements médicaux ultérieurement jugés inefficaces
3. La fraude scientifique mine la confiance et gaspille des ressources
La fraude montre à quel point cette confiance peut être exploitée à mauvais escient.
Des affaires retentissantes choquent. Des cas de fraude scientifique, comme le scandale Macchiarini en médecine régénérative ou la fausse liaison entre vaccin et autisme de Wakefield, ont eu des conséquences dévastatrices. Ces affaires gaspillent non seulement des ressources, mais peuvent aussi causer des dommages, voire la mort, lorsque des traitements médicaux frauduleux sont appliqués.
Des failles systémiques mises à jour. La fraude révèle des faiblesses du système scientifique :
- Une évaluation par les pairs insuffisante
- Une réticence institutionnelle à enquêter sur les fautes
- La pression pour produire des résultats révolutionnaires
- Un manque de transparence des données
La prévalence de la fraude, difficile à quantifier précisément, est probablement plus élevée qu’on ne le croit, des enquêtes montrant qu’une minorité significative de scientifiques admettent des pratiques de recherche douteuses.
4. Le biais de publication déforme la littérature scientifique en faveur des résultats positifs
Le fractionnement des publications ne signifie pas nécessairement que la science contenue dans chaque partie est de mauvaise qualité (même si le fait que les chercheurs exploitent aussi ouvertement le système de publication ne plaide pas en leur faveur).
Le problème du tiroir. Les chercheurs ont tendance à publier les études aux résultats positifs, tandis que les résultats négatifs ou nuls restent souvent inédits. Cela crée une représentation biaisée des connaissances scientifiques, où la littérature semble soutenir certaines hypothèses plus fortement que ne le fait l’ensemble des recherches.
La méta-analyse révèle le biais. L’examen des graphiques en entonnoir dans les méta-analyses montre l’absence d’études (souvent celles avec de petits échantillons et de faibles effets), signe d’un biais de publication. Cette distorsion conduit à une surestimation des tailles d’effet et à une confiance erronée dans les affirmations scientifiques. Ce biais touche divers domaines, notamment :
- La psychologie
- La médecine
- L’écologie
- L’économie
5. Le p-hacking et la manipulation des données conduisent à des conclusions peu fiables
Les chiffres sont bruyants.
Les pêches statistiques. Le p-hacking consiste à manipuler les données ou les analyses pour obtenir des résultats statistiquement significatifs (p < 0,05). Cela peut inclure :
- La sélection sélective des résultats
- L’exclusion de données « gênantes »
- La collecte continue de données jusqu’à obtenir la significativité
- L’essai de multiples tests statistiques en ne rapportant que les « réussites »
Les faux positifs prolifèrent. Ces pratiques augmentent la probabilité de résultats faux positifs, gonflant le nombre de résultats apparemment significatifs dans la littérature. L’accent mis sur la significativité statistique occulte souvent des considérations plus importantes, telles que la taille de l’effet et la pertinence pratique.
6. La négligence dans les pratiques de recherche compromet l’intégrité scientifique
Trop d’études scientifiques sont bien trop petites.
Les études sous-puissantes prédominent. De nombreuses études, notamment en neurosciences et en psychologie, disposent d’échantillons insuffisants pour détecter de manière fiable les effets qu’elles prétendent observer. Cela entraîne :
- Une surestimation des tailles d’effet
- Une faible reproductibilité
- Un gaspillage de ressources sur des recherches non concluantes
Les erreurs basiques sont fréquentes. La négligence dans les pratiques de recherche comprend :
- Des erreurs de calcul
- Des données mal étiquetées
- Des échantillons contaminés
- L’absence de randomisation ou d’aveuglement adéquat
Ces problèmes, souvent involontaires, peuvent affecter considérablement la fiabilité des résultats scientifiques et gaspiller des ressources précieuses.
7. Le battage médiatique et l’exagération déforment la communication scientifique
Les scientifiques veulent que leurs recherches paraissent comme des découvertes révolutionnaires, ils les analysent, les rédigent et les diffusent en ce sens.
Les communiqués de presse survendent. De nombreux services de communication universitaires et chercheurs exagèrent les implications de leurs résultats, conduisant à une couverture médiatique sensationnaliste. Ce battage peut :
- Donner une fausse impression de certitude
- Surestimer les applications pratiques
- Ignorer les limites importantes
Les livres de vulgarisation simplifient. Les auteurs de livres de vulgarisation présentent souvent des résultats complexes comme des vérités simples et définitives, négligeant les nuances et incertitudes inhérentes à la recherche scientifique. Cela peut créer des attentes irréalistes et des malentendus chez le grand public.
8. Les incitations perverses dans le milieu académique favorisent la quantité au détriment de la qualité
Le fractionnement des publications ne signifie pas nécessairement que la science contenue dans chaque partie est de mauvaise qualité (même si le fait que les chercheurs exploitent aussi ouvertement le système de publication ne plaide pas en leur faveur).
La culture du « publier ou périr ». Le succès académique se mesure souvent au nombre de publications et au prestige des revues, incitant les chercheurs à :
- Privilégier la quantité plutôt que la qualité
- Chercher des résultats nouveaux et positifs au détriment de méthodes rigoureuses
- Recourir à des pratiques douteuses pour augmenter leur productivité
Les pressions financières déforment. La nécessité d’obtenir des financements pousse les chercheurs à :
- Surévaluer des résultats préliminaires
- Éviter des recherches risquées mais potentiellement révolutionnaires
- Se concentrer sur des sujets à la mode plutôt que sur des travaux importants mais moins attrayants
Ces incitations contribuent à de nombreux problèmes dans la recherche scientifique, du p-hacking au biais de publication.
9. La science ouverte et la pré-enregistrement peuvent améliorer la transparence de la recherche
Le pré-enregistrement est obligatoire pour les essais cliniques financés par le gouvernement américain depuis 2000, et une condition préalable à la publication dans la plupart des revues médicales depuis 2005.
Les avantages du pré-enregistrement. En déclarant publiquement les plans de recherche avant la collecte des données, le pré-enregistrement :
- Réduit le p-hacking et le HARKing (formuler des hypothèses après coup)
- Distingue les analyses confirmatoires des exploratoires
- Aide à combattre le biais de publication en créant un registre de toutes les études
Les pratiques de science ouverte. Accroître la transparence grâce aux données ouvertes, aux méthodes ouvertes et à la publication en accès libre peut :
- Faciliter les tentatives de réplication
- Permettre une évaluation par les pairs plus approfondie
- Renforcer la confiance du public dans les résultats scientifiques
Ces pratiques incarnent un changement culturel vers plus de responsabilité et de fiabilité dans la recherche scientifique.
10. Réformer la culture scientifique est crucial pour restaurer la fiabilité
Améliorez la science, je dirais, et la confiance suivra.
Des changements systémiques nécessaires. Pour résoudre les problèmes de la recherche scientifique, des réformes sont indispensables à plusieurs niveaux :
- Revoir les systèmes d’incitation dans le milieu académique
- Améliorer la formation statistique des chercheurs
- Encourager les études de réplication et la publication des résultats nuls
- Mettre en place des processus d’évaluation par les pairs plus rigoureux
Un changement culturel essentiel. Au-delà des politiques, un changement fondamental de la culture scientifique est nécessaire. Cela implique :
- De valoriser la rigueur méthodologique plutôt que la nouveauté
- D’accepter l’incertitude et les limites de la recherche
- De promouvoir la collaboration plutôt que la compétition
- D’adopter une approche plus critique et sceptique face aux affirmations scientifiques
En s’attaquant à ces problèmes systémiques et normatifs, la science peut progresser vers une plus grande fiabilité et regagner la confiance du public.
Dernière mise à jour:
FAQ
What's Science Fictions about?
- Exploration of Scientific Integrity: Science Fictions by Stuart Ritchie examines how fraud, bias, negligence, and hype undermine the pursuit of truth in scientific research.
- Focus on Replication Crisis: The book highlights the replication crisis, where many studies fail to reproduce results, questioning the reliability of published research.
- Call for Reform: Ritchie advocates for reforms in scientific practices, emphasizing transparency, open data, and better incentives for researchers.
Why should I read Science Fictions?
- Understanding Scientific Flaws: The book provides insight into systemic flaws in scientific research, encouraging critical evaluation of scientific claims.
- Awareness of Hype: It highlights how sensationalized claims can mislead the public, stressing the importance of humility in science communication.
- Proposed Solutions: Ritchie offers practical solutions for reforming scientific practices, making it valuable for researchers and the general public.
What are the key takeaways of Science Fictions?
- Importance of Replication: Ritchie stresses that credible scientific findings must be replicable, a fundamental aspect often neglected.
- Impact of Bias: The book illustrates how biases can skew research results, leading to a distorted view of scientific truths.
- Need for Transparency: Ritchie calls for greater transparency in research practices, including data sharing and pre-registration of studies.
What are the best quotes from Science Fictions and what do they mean?
- “Science has become home to a dizzying array of incompetence, delusion, lies and self-deception.”: Highlights the serious issues compromising scientific integrity.
- “If it won’t replicate, then it’s hard to describe what you’ve done as scientific at all.”: Emphasizes the critical role of replication in validating research.
- “We owe it the truth.”: Stresses the responsibility of scientists to pursue and communicate accurate findings.
What is the replication crisis discussed in Science Fictions?
- Definition of the Replication Crisis: Refers to the realization that many studies, especially in psychology, cannot be reliably reproduced.
- Impact on Trust: The crisis has eroded public trust in science, highlighting the need for rigorous research practices.
- Broader Implications: Affects various scientific disciplines, undermining public trust and influencing policy and practice.
How does Science Fictions address scientific fraud?
- Case Studies of Fraud: Ritchie examines notable cases like Diederik Stapel's fabricated data, illustrating severe consequences.
- Consequences of Fraud: Discusses how fraud damages reputations and erodes public trust in science.
- Call for Accountability: Advocates for stricter measures to detect and prevent fraud, emphasizing accountability.
What is publication bias, and how does it affect scientific research according to Science Fictions?
- Definition of Publication Bias: Occurs when studies with positive results are more likely to be published than those with null results.
- Consequences for Science: Creates a false narrative about the effectiveness of treatments, misleading practitioners and policymakers.
- Impact on Meta-Analyses: Affects meta-analyses by overestimating effectiveness due to exclusion of null results.
What is p-hacking, and why is it a problem in scientific research according to Science Fictions?
- Definition of P-Hacking: Involves manipulating data or analyses to achieve a desired p-value, often below 0.05.
- Consequences for Validity: Undermines research validity, leading to false positives and exaggerated effect sizes.
- Widespread Issue: Common practice among researchers, often done unconsciously, raising concerns about study reliability.
How does Science Fictions propose to reform scientific practices?
- Advocacy for Transparency: Calls for sharing data and methodologies to allow better scrutiny and replication.
- Encouragement of Replication Studies: Emphasizes the need for more replication studies to validate research findings.
- Reevaluation of Publication Practices: Suggests journals should publish null results and replication studies to combat bias.
What role does bias play in scientific research according to Science Fictions?
- Types of Bias: Includes confirmation bias, funding bias, and ideological bias, distorting research outcomes.
- Impact on Results: Leads to selective reporting, creating a distorted view of evidence.
- Need for Self-Criticism: Emphasizes self-criticism to recognize and address biases, maintaining research integrity.
How does Science Fictions suggest addressing the issue of scientific hype?
- Cautious Communication: Advocates for humility and caution in communicating findings, avoiding sensationalized claims.
- Media Responsibility: Suggests journalists should critically evaluate scientific claims to prevent hype.
- Systemic Changes: Calls for changes in publication processes to reduce pressure for flashy results.
What is the significance of open science as discussed in Science Fictions?
- Transparency and Accountability: Promotes transparency, allowing verification of findings and methodologies.
- Collaboration and Sharing: Facilitates data sharing and collaboration, leading to robust findings.
- Public Access to Research: Discusses ethical implications of making taxpayer-funded research publicly available.
Avis
Science Fictions est salué pour son analyse approfondie des fraudes, des biais et des exagérations dans la recherche scientifique. Ritchie propose un panorama complet de la crise de la reproductibilité et avance des solutions concrètes pour améliorer les pratiques scientifiques. Si certains lecteurs trouvent cet ouvrage révélateur et indispensable, d’autres lui reprochent une focalisation trop étroite sur des exemples récents et une simplification parfois excessive. Le livre est apprécié pour sa clarté d’écriture et ses exemples captivants, bien que certains craignent qu’il ne contribue à éroder la confiance envers la science. Dans l’ensemble, il s’adresse aussi bien aux scientifiques qu’aux non-spécialistes désireux de mieux comprendre l’état actuel de la recherche scientifique.
Similar Books
