Gisteren kwam het nieuws naar buiten dat Prof. Diederik Stapel (Professor Cognitieve Sociale Psychologie) van Tilburg University per direct geschorst is vanwege het fingeren van data in zijn onderzoeken (nieuwsbericht Tilburg University / nieuwsbericht NOS / bericht GeenStijl). Vandaag wil ik graag een kritisch geluid laten horen dat niet het fingeren van data ‘goed’ praat, maar dat wel een beeld geeft van de druk die er is om ’te presteren’ binnen de huidige wetenschap.
De basisregel
Ik ben geen onderzoeker pur sang, geen wetenschapper of statisticus. Ondanks dat leerde ik in mijn eerste jaar al dat je met een kritische blik naar wetenschappelijk onderzoek moet kijken. Methodes die gekozen worden staan vaker ter discussie, net als de keuzes voor statistische analyses. Desalniettemin mag de basisregel duidelijk zijn; data verzinnen doe je niet.
Significante resultaten
Tijdens het schrijven van mijn MSc-thesis gaf mijn begeleidster aan dat het toch wel erg mooi zou zijn als ik wat significante resultaten zou kunnen vinden. Dat ik daarvoor de out-liers wellicht wel mee zou moeten nemen in mijn onderzoek, of een andere statistische toets zou moeten toepassen zou daarmee minder belangrijk zijn. De ‘druk’ om ‘iets’ te vinden was dus zeker aanwezig, ook al moest ik daarvoor mijn significantie-niveaus of mijn effect sizes een beetje oprekken.
Prestatiedruk
Maar, hoe zou dat zijn als je op basis van je hypotheses een onderzoeksbeurs krijgt toegewezen van enkele tonnen of miljoenen? Je niet een half jaar bezig bent met ‘een onderzoekje’, maar meerdere jaren? En er dan uiteindelijk achter komt dat jouw hypothese toch niet helemaal klopt of dat je net de verkeerde steekproef genomen hebt? Ik kan me voorstellen dat je binnen die context je geneigd voelt om ook andere keuzes te maken in je statistische analyses of het wel of niet meenemen van bepaalde proefpersonen.
Bottomline
Ook als deze prestatiedruk aanwezig is blijft er volgens mij één regel altijd van kracht; het domweg verzinnen van data doe je niet. Dat schaadt niet alleen je onderzoek, maar ook de psychologische wetenschap als geheel.
UPDATE: Roos Vonk over het ‘vlees-onderzoek’ dat zij uitgevoerd heeft met Diederik Stapel en de druk die wetenschappers kunnen ervaren bij NOS op 3: www.3fm.nl (vanaf 08:00 minuten). Lees ook de verklaring van Roos Vonk op haar website.
Ik herinner me nog goed mijn allereerste college, Methoden en Technieken van Onderzoek, op maandagochtend om 08.45 uur. De docent sloot het college af met de woorden: “geen significant resultaat is óók een resultaat“. En dat is volgens mij precies de regel die niet meer toegepast wordt binnen de huidige wetenschap.
Graag stel ik jullie daarom de volgende discussievraag:
Kan men in het huidige wetenschappelijk klimaat nog integer onderzoek doen op het moment dat er zo’n ‘druk’ is om significante resultaten te publiceren?
Ik ben benieuwd naar jullie reacties!
Integer onderzoek doen is natuurlijk altijd mogelijk – maar op de juiste momenten de waarheid geweld aandoen kan je carrière soms helpen, zoals het geval-Stapel aantoont. Daarmee wordt een bonus gezet op normoverschrijdend gedrag; gedrag dat bovendien maar moeilijk op te sporen is. Zolang dat zo blijft zullen er wetenschappers zijn die dingen doen die niet door de beugel kunnen. Iedere beroepsgroep heeft zijn zwarte schapen …
De wetenschap is wel stug wat betreft de de 0.05 significantie grens. Soms wat te stug. Als ik in mijn onderzoek een p-waarde van 0.06 vind, betekend dit dan meteen dat de onderzoeksresultaten niets waard zijn? Nee, natuurlijk niet! De waarde van de data en conclusies zijn niet alleen afhankelijk van de p-waarde (onderwerp van je onderzoek en grote van je steekproef bijvoorbeeld). Ik bedoel als jij een onderzoek doet met 10 proef personen, en je p-waarde is 0.06, dan kun je besluiten er een paar proefpersonen bij te gooien, waarna mogelijk je p-waarde wel 0.05 is (en dus significant). Daar moeten we een beetje van af, er moet meer gekeken worden naar de werkelijke inhoud en implicaties van een onderzoek. Buiten de significantie waarden, worden er veel grovere fouten gemaakt in de statistische analysen. Correlaties worden omgedraaid, of belangrijke mediatoren worden niet meegerekend.
Sander Nieuwenhuis heeft een mooi artikel geschreven over dit soort statistische problemen binnen (neuro)wetenschappelijke publicaties. Dat is hier te vinden:
http://www.sandernieuwenhuis.nl/pdfs/NieuwenhuisEtAl_NN_Perspective.pdf
Op zich is het inderdaad een goed punt. Tijdens mijn bachelorscriptie kwam ik er al snel achter dat de echte wetenschap presteren is. Vanzelfsprekend zijn significante resultaten altijd leuker en interessanter. Echter krijg je anders je onderzoek ook niet gepubliceerd en daar gaat het mis… door het niet publiceren van onderzoek waaruit tegendeel blijkt (of zoals aangegeven 0.06 waarden), voorkom je dat falsificatie van significante resultaten optreed.
De wetenschap zou gebaat zijn bij het in ieder geval opslaan of ergens administreren van replicaties van onderzoek waar geen significante resultaten gevonden worden. Als dit zou gebeuren, was dit ook eerder aan het licht gekomen.