Lang niet alle algemeen geaccepteerde wetenschappelijke aannames zijn even betrouwbaar.

De test van ‘reproduceerbaarheid’, of in het Engels de ‘test of replicability’, wordt wel de basis van de moderne wetenschap genoemd. Resultaten van experimenten worden alleen geaccepteerd wanneer de experimenten (door andere wetenschappers) herhaald kunnen worden en wanneer daarbij dezelfde resultaten worden behaald. Op basis van deze resultaten stellen wetenschappers hun hypothesen vast en worden conclusies getrokken. Alle wetten en regels waarmee de wetenschap de wereld, de natuur en het leven probeert te beschrijven worden zo grondig getoetst en opnieuw getoetst, om op die manier op een zo nauwkeurig mogelijke beschrijving te komen.

Echter, in de wetenschap wordt men zich er steeds meer van bewust dat de uitkomsten van verschillende uitvoerig en herhaaldelijk gecontroleerde experimenten lang niet altijd even zeker zijn. Er is nu al bij een aantal algemeen geaccepteerde studies ontdekt dat de onderzoeksresultaten niet reproduceerbaar zijn. Het is een fenomeen dat zichtbaar is in veel takken van de wetenschap, uiteenlopend van psychologie tot ecologie.

Maar wat kan er dan fout zijn gegaan? Ergens in het proces raken de onderzoeksgegevens vertekend. Dit zou echter niet mogelijk moeten zijn, want de onderzoeken zijn tenslotte gedaan door ervaren en kritische wetenschappers. Het is ook zeker dat er geen sprake is van fraude. De gegevens in de verschillende onderzoeken zijn niet opzettelijk aangepast om een bepaald resultaat te behalen. De intenties van de onderzoekers zijn oprecht.

De oorzaak van het probleem is moeilijk aan te wijzen en verschillende wetenschappers vermoeden dat het een combinatie is van verschillende factoren. Eén van de factoren die ervoor kan zorgen dat onderzoeksgegevens vertekend raken, is de selectie gedaan door wetenschappelijke tijdschriften. Redacties van wetenschappelijke tijdschriften zijn kritisch en zullen geen onzin publiceren, maar als ze voor de keuze staan zullen ze geneigd zijn eerder een studie te publiceren waar opvallende en duidelijke onderzoeksresultaten uit zijn gekomen. Een studie waarbij een onderzoeksvraag niet wordt bevestigd, oftewel een studie zonder resultaat, is niet spannend. Volgens een onderzoek, gedaan in 1959, naar alle publicaties van psychologie studies bleek dat 97% daarvan hun onderzoeksvraag bevestigden. Dit betekent dat óf de onderzoekers ontzettend veel geluk hadden, óf de tijdschriften hebben alleen de succesvolle studies gepubliceerd.

Een andere factor is het noteren en beschrijven van de gegevens. Omdat veel onderzoeken vaak zo complex zijn, waarbij met zoveel en zulke kleine details gewerkt wordt, zijn wetenschappers vaak gedwongen om bijvoorbeeld waarnemingen af te ronden of om hun verslaggeving te vereenvoudigen. Ook hierdoor raakt het beeld vertekend.

Nog een factor is het eenvoudige feit dat wetenschappers ook maar mensen zijn die beïnvloed kunnen worden door verschillende omstandigheden. Wetenschappers willen graag onderzoeken laten zien die significant zijn. Het opbouwen van een reputatie om vaak vermeld te worden in publicaties kan een rol spelen (wetenschappers houden bij hoe vaak hun artikelen worden geciteerd door anderen). Een bepaalde druk vanuit de werkgever kan van invloed zijn. Er kunnen financiële belangen, zoals subsidies, meespelen. Of simpelweg de psychologische reden dat het een goed gevoel geeft om gelijk te krijgen, kan invloed hebben.

Tot slot is er nog de factor van pure willekeur. Het kan toeval zijn dat resultaten op een bepaalde manier uitvallen. Eind 1990-er jaren is het volgende experiment opgezet: Muizen werden getest hoe ze reageerden op bepaalde stoffen. Dit experiment werd op drie verschillende locaties in Noord-Amerika op exact hetzelfde tijdstip uitgevoerd. Bovendien werden de muizen met exact dezelfde materialen behandeld: dezelfde voeding, hetzelfde type kooi, hetzelfde merk zaagsel voor de bodem, blootstelling aan dezelfde hoeveelheid en sterkte van licht, evenveel muizen bij elkaar, aangeraakt met hetzelfde soort chirurgische handschoenen en getest met dezelfde soort instrumenten. Verder hadden de muizen dezelfde genetische afkomst en waren ze op dezelfde dag vervoerd vanaf dezelfde leverancier. Tijdens dit experiment zijn dus zoveel mogelijk variabelen gestandaardiseerd. En toch kwamen er drie totaal verschillende uitkomsten uit. Volgens de test van reproduceerbaarheid had dit niet mogelijk moeten zijn. Dus hoe goed werkt de test van reproduceerbaarheid dan?

Ondanks dat veel wetenschappelijke ideeën tegenstrijdige resultaten aantonen die nauwelijks zijn na te maken, wordt er soms hardnekkig vastgehouden aan deze studies door bijvoorbeeld de resultaten te gebruiken als uitgangspunt voor vervolgonderzoek (er zijn zelfs proeven geweest waarbij is aangetoond dat de wet van de zwaartekracht, zoals die nu wordt beschreven, niet waterdicht is). Onder andere voor de medische wetenschap is dit op zijn minst verontrustend, want hoe weten we nu welke resultaten betrouwbaar zijn? Welke medische behandelingen hebben nu het juiste effect?

De afwijkingen tonen aan hoe glad empirisme is. Ondanks uitgebreid onderzoek blijkt hoe moeilijk het is om iets echt te bewijzen. En als het dan wetenschappelijk is ‘bewezen’, betekent het nog niet dat het waar is. Wanneer de experimenten zijn uitgevoerd, is het nog steeds aan ons om te kiezen wat we willen geloven.

Bron: The New Yorker

[Commentaar van Joost: Het is een gouden eeuw voor wetenschappelijk onderzoek naar het brein. We leren steeds meer, maar weten nog weinig. Tegelijkertijd heeft Neuro-Linguïstisch Programmeren (NLP) een heel eigen kijk op de werking van het brein. Deze visie is niet wetenschappelijk, maar wel effectief in de praktijk. Steeds meer worden onderdelen bevestigt door neurowetenschappers zoals bijvoorbeeld tijdslijnen, de plasticiteit van het brein en de werking van hypnose. Om meer inzicht te geven in de originele ideeën van NLP over het brein heb ik het relevante deel uit mijn standaardwerk over NLP “Breintraining: handboek voor moderne NLP” in het onderstaande gratis rapport gevat dat je op kan vragen wanneer je dat wilt.



Categories: Breinnieuws

No comments

The author does not allow comments to this entry