Luister naar dit Artikel

Reproduceerbaarheid is de meest fundamentele maatstaf in de wetenschap. Als een resultaat niet kan worden gerepliceerd, telt het niet als wetenschap.

Toch is er de laatste jaren veel sprake van een ‘replicatiecrisis’. Veel resultaten waarvan we aannamen dat ze robuust waren, kunnen eenvoudigweg niet worden gerepliceerd. De term wordt meestal gebruikt in de context van psychologie en geneeskunde, maar kan ook op andere gebieden van toepassing zijn.

Dus hoeveel van de wetenschap is reproduceerbaar? Een manier om deze vraag aan te pakken, is door een groot aantal onderzoeken uit een bepaald vakgebied te selecteren en deze vervolgens te repliceren. Dit is meerdere keren gedaan.

Een paper uit 2012 kon slechts 11% van de 53 onderzoeken naar preklinische kanker repliceren. Een paper uit 2015 kon slechts 36% van 97 onderzoeken uit de psychologie repliceren. Een paper uit 2018 deed het iets beter en repliceerde 54% van 28 onderzoeken uit dat veld. Een paper uit 2016 kon 60% van 100 economische experimenten repliceren. Een ander artikel uit 2018 kon 62% van 21 sociaalwetenschappelijke experimenten repliceren.

Deze cijfers zijn ontnuchterend. Maar er is een belangrijk voorbehoud: de ‘studies die moeten worden gerepliceerd’ zijn enigszins willekeurig geselecteerd, dus het overeenkomstige percentage kan niet als representatief voor het hele veld worden beschouwd.

Een andere manier om de bovenstaande vraag te beantwoorden, is simpelweg aan onderzoekers te vragen welk percentage van de studies in uw vakgebied kan worden gerepliceerd – een soort ‘wisdom of the crowds’-benadering.

Dat blijkt uit een onderzoek uit 2016 van het tijdschrift Nature. Ze kregen 1.500 reacties – de overgrote meerderheid van momenteel werkende wetenschappers. De respondenten werd gevraagd: “Welk deel van het gepubliceerde werk in uw vakgebied is volgens u reproduceerbaar?”

Het hoogste cijfer – 72% – werd gevonden in de natuurkunde. Het laagste cijfer – 52% – werd gevonden in “other” (waarvan ik vermoed dat het vooral sociale wetenschappers zijn). Milieuwetenschappen en geneeskunde hadden tussenliggende cijfers – beide 58%. Chemie was iets hoger met 65%. (Antwoorden verschilden niet substantieel tussen studenten en werkende wetenschappers.)

Deze cijfers zijn opnieuw ontnuchterend. Volgens onderzoekers zelf kan bijna de helft van het gepubliceerde werk in de geneeskunde, sociale wetenschappen en milieuwetenschappen niet worden gerepliceerd. Het is niet verwonderlijk dat meer ‘objectieve’ velden zoals natuurkunde en scheikunde een hogere mate van repliceerbaarheid hebben.

Over het algemeen leveren de twee methoden vergelijkbare bevindingen op: een groot percentage van de resultaten in meer ‘subjectieve’ – zeg maar ‘gepolitiseerde’ – velden is niet reproduceerbaar.