Waar overtrokken wetenschappelijke resultaten vandaan komen

De verleiding om resultaten van wetenschappelijk onderzoek aan te dikken is groot. Artikelen met spectaculaire resultaten zijn interessanter voor wetenschappelijke toptijdschriften. Ze worden eerder geciteerd door collega’s en vinden makkelijker hun weg naar de media. Dit kan ervoor zorgen dat wetenschappelijke studies een vertekening (bias) bevatten die de resultaten iets aandikt. Een bekend voorbeeld hiervan is natuurlijk de Tilburgse sociaal psycholoog Diederik Stapel die zijn eigen resultaten verzon en zo bijzondere resultaten kon publiceren. Eerder deze maand nog betrapten onder meer Groningse wetenschappers de bekende voedingspsycholoog Brian Wansink op zelfplagiaat en statistische uitglijders. Kleiner, minder opzichtig geknoei komt echter veel vaker voor.

Kleine studies

Een groep wetenschappers van de Stanford University School of Medicine onderzocht de belangrijkste bronnen van dit iets te rooskleurig weergeven van de resultaten in 22 wetenschappelijke gebieden. Hiervoor gebruikten ze meer dan 3.000 metastudies en 50.000 wetenschappelijke artikelen. Ze publiceren hun bevindingen deze week in vakblad PNAS.

Veruit de grootste bron van vertekening vormen kleine studies, zo blijkt. Studies met bijvoorbeeld kleine groepen proefpersonen of weinig herhaling van experimenten vinden het vaakst overdreven grote effecten. De onderzoekers troffen ook vaker aangedikte effecten aan in voorpublicaties, in publicaties van wetenschappers die aan het begin van hun carrière staan en in het werk van teams die op grote afstand van elkaar werken. Het zal niemand verbazen dat overdrijving ook vaker voorkomt in de artikelen van wetenschappers met een dibieuze reputatie. Overdrijven van gevonden effecten loont, want het komt vaker voor in veel geciteerde artikelen.

Moeilijk te reproduceren

Frappant is dat juist kleine studies die gepubliceerd worden in peer-reviewed tijdschriften vaker effect aandikken. Deze wetenschappelijke vakbladen selecteren op onderzoek met statistisch significante resultaten. Om met een kleine studie toch significante resultaten te boeken, moet het gevonden effect groter zijn. En dus, zo redeneren de auteurs, is het makkelijker om kleine studies met grote effecten gepubliceerd te krijgen. Effecten die vervolgens vaak moeilijk te reproduceren zijn.

"Onderzoeken worden geëvalueerd door peer-reviewers," legde Rik Crutzen eerder uit in Nieuws en Co. "Daarbij is het heel verleidelijk om sexy resultaten, mooie en innovatieve resultaten de aandacht te geven. Dat is schadelijk, omdat het soms net zo belangrijk kan zijn als je iets niet vindt. Dit kan zelfs de sexy resultaten tegenspreken."

Crutzen lanceerde recent een tijdschrift dat mislukt, weinig aansprekend of minder sexy onderzoek uit de gezondheidspsychologie gaat publiceren. En dat is nodig, blijkt nu ook weer uit de studie van de Stanford onderzoekers. Vooral in de sociale wetenschappen troffen ze veel overtrokken resultaten aan.

Danielle Fanelli, Rodrigo Costas en John Ioannidis. Meta-assessment of bias in science. Proceedings of the National Academy of Sciences of the United States of America (PNAS). 20 maart 2017.