Begin september 2011 werd de Nederlandse onderzoekswereld opgeschrikt door een serieus geval van fraude. De data die gebruikt waren in psychologisch onderzoek bleken gefingeerd te zijn. Mijn stelling is dat het wijdverspreide gebruik van de computer verleidt tot ‘creatief onderzoek’, maar dat het ook kan bijdragen aan het voorkomen van fraude. Sterker nog, goede inzet van digitale media kan de kwaliteit van onderzoek verbeteren.
Auteur: prof.dr.ir. J.L. Top
De neiging om onderzoeksdata op te poetsen of zelfs te verzinnen ontstaat vooral door de grote druk op wetenschappers om steeds weer met nieuwe en opvallende resultaten te komen. Opvallen in de wetenschappelijke wereld, maar ook in de maatschappij, is tegenwoordig een voorwaarde voor het krijgen van waardering en financiering. Het effect van het onderzoek wordt daardoor belangrijker dan de methode.
Tegelijkertijd is de computer doorgedrongen tot in de haarvaten van de onderzoekspraktijk. Dit kon vooral gebeuren doordat de computer snelle analyse van data mogelijk maakte. Het is heel eenvoudig geworden om wat statistiek los te laten op een set meetpunten, daar mooie grafieken bij te maken en verbanden te vinden. Tools als Excel, Matlab en SPSS zijn niet voor niets zo populair. De computer wordt dus vooral ingezet als getallenkraker. Het probleem is nu dat de beschrijvende kant van onderzoek daardoor ondergesneeuwd is geraakt. Bovendien wordt het proces van dataverzameling onzichtbaar voor anderen. Onderzoeksdata worden opgeslagen in losse bestanden, verspreid over verschillende systemen. Als de gegevens al te achterhalen zijn, gaat het vaak om getallen in tabellen, zonder uitleg over de gebruikte parameters, methoden, materialen, enzovoorts. Een zorgvuldige en samenhangende beschrijving van de complete set van waarnemingen, zoals in het traditionele labjournaal, ontbreekt.
Door recente ontwikkelingen binnen de informatica wordt het mogelijk het beschrijvende element van goed onderzoek terug te halen. Daarbij moeten we onderscheid maken tussen (1) het maken van zorgvuldige notities, op zo’n manier dat anderen de data in principe kunnen interpreteren en gebruiken – eigenlijk gewoon goede onderzoekspraktijk –, en (2) het toegankelijk maken van de data, desnoods onder beperkingen. Het onderscheid is belangrijk, omdat het één vaak gebruikt wordt als argument om het ander te laten. De praktijk laat namelijk zien dat onderzoekers nogal wat weerstand hebben tegen het maken van goed geannoteerde en vindbare datasets. ‘Dat kost me veel te veel tijd’, ‘anderen gaan er met mijn data vandoor’, ‘het experiment was mislukt’, ‘mijn data zijn onbruikbaar voor anderen’, ‘niemand doet het’, etc.
Nieuwe computerapplicaties kunnen deze bezwaren echter voor een groot deel wegnemen. Ze helpen bij het beschrijven van de data, de samenhang en de herkomst. Ze zijn juist geschikt om in een vroeg stadium claims op data en resultaten vast te leggen en bekend te maken. Het wordt mogelijk om het materiaal waarop publicaties gebaseerd zijn te traceren en te verifiëren. Hiermee komen essentiële principes van wetenschappelijk onderzoek weer naar boven, namelijk toetsbaarheid en reproduceerbaarheid. Gewone publicaties geven die mogelijkheid onvoldoende. Onderzoeksinstellingen investeren veel in mooie en dure projectmanagementtools. Nu nog de stap maken naar het koesteren en benutten van de onderzoeksdata zelf: de eigenlijke schatkist.
Is hiermee fraude te voorkomen? Nee, uiteindelijk zijn er natuurlijk altijd wegen te vinden om gegevens te verdraaien. Wel kan men de neiging ertoe verminderen door zorgvuldige beschrijvingen van onderzoeksmateriaal te eisen en die in principe toegankelijk te maken. Bovendien neemt hiermee de kwaliteit van het onderzoek toe en wordt samenwerking bevorderd!
Auteur: prof.dr.ir. J.L. Top, senior onderzoeker Wageningen UR Food & Biobased Research en hoogleraar Kennismanagement Agrifood aan de Vrije Universiteit Amsterdam.