Psychologen Hebben Een Plan Om De Gebroken Wetenschap Van De Psychologie Te Herstellen

{h1}

Psychologen weten al sinds 2011 dat er iets mis is met hun vak. Nu is er een echt plan om dingen te repareren, en het lijkt te werken.

Er was iets mis met de psychologie. Een cascade van waarschuwingssignalen kwam in 2011 allemaal tegelijk aan. Beroemde psychologische experimenten mislukten, telkens wanneer onderzoekers ze opnieuw in hun eigen labo deden. Erger nog, de standaardmethoden die onderzoekers in hun laboratoria gebruikten, bleken onder nauwkeurige controle slap te zijn om zo ongeveer alles te bewijzen. Onzin, belachelijke claims kwamen naar voren in grote tijdschriften. Het was een moment van crisis.

Het eerste teken dat het tijd was voor een afrekening, vertelden onderzoekers aan WordsSideKick.com, was een single paper gepubliceerd door Cornell psycholoog Daryl Bem in 2011 in de prestigieuze Journal of Personality and Social Psychology.

De paper besprak negen studies die Bem in de loop van 10 jaar had uitgevoerd, waarvan er acht krachtig bewijs lieten zien dat mensen dingen kunnen waarnemen die ze niet kunnen zien of dingen die nog niet zijn gebeurd. [Wat is een wetenschappelijke hypothese?]

Zijn paper presenteerde wat leek op echt bewijs voor precognitie, "voor in wezen ESP," of buitenzintuiglijke waarneming, vertelde Sanjay Srivastava, een onderzoekspsycholoog aan de Universiteit van Oregon, WordsSideKick.com.

Voor wetenschappers die hun leven hadden gewijd aan deze wetenschap en deze methoden, was het alsof het vloerkleed er plotseling onder vandaan was getrokken.

"Met ongeveer 100 onderwerpen in elk experiment waren zijn steekproefgroottes groot", schreef Slate Daniel Engber, die de crisis in de psychologie uitgebreid heeft besproken, in 2017. "Hij had alleen de meest conventionele statistische analyses gebruikt. - en driemaal gecontroleerd om er zeker van te zijn dat er geen storingen in de randomisatie van zijn stimuli waren. Zelfs met al die extra zorg zou Bem zo'n controversiële bevinding niet durven opsturen als hij de resultaten in zijn lab niet had kunnen repliceren, en repliceer ze opnieuw en repliceer ze nog vijf keer. Zijn afgewerkte artikel bevat negen afzonderlijke ministudies van ESP. Acht daarvan gaven hetzelfde effect. "

Bem was geen buitenbeentje. Dit waren solide resultaten, overtuigend aangetoond.

"Het papier leek alle regels van de wetenschap te volgen, en daarmee toonde iets dat bijna iedereen dacht dat onmogelijk was," zei Srivastava. "En als dat gebeurt, zeg je: Oké, het onmogelijke is echt niet onmogelijk, zoals misschien ESP bestaat, of er is iets over hoe we wetenschap doen die het mogelijk maakt om onmogelijke resultaten te bewijzen."

Met andere woorden, dit was, volgens alle normen die beschikbaar zijn voor de psychologie, goede wetenschap.

"Onaanvaardbaar eenvoudig"

Binnen enkele maanden nadat Bem's ESP-papier werd gepubliceerd, publiceerde een drietal onderzoekers van de University of Pennsylvania en de University of California, Berkeley, een paper in het tijdschrift Psychological Science dat in sommige opzichten zelfs nog verontrustender was, aldus Simine Vazire, een psycholoog bij de universiteit van Californië, Davis.

Joseph Simmons, Leif Nelson en Uri Simonsohn's "False-Positive Psychology" paper toonden aan dat, zoals zij het zeiden, "het is onaanvaardbaar gemakkelijk om te publiceren" statistisch significant 'bewijsmateriaal consistent met ieder hypothese."

Het leek waarschijnlijk dat veel onderzoekers die met methoden werkten waarvoor ze alle reden hadden om erin te geloven, resultaten hadden gerapporteerd die simpelweg niet waar waren. Om het te bewijzen, gebruikten ze bestaande methoden in de psychologie om, onder andere, aan te tonen dat het luisteren naar het Beatles-lied "When I'm Sixty-Four" mensen anderhalf jaar jonger maakt. Als de psychologie goed zou werken, zouden de onderzoekers de stelling moeten accepteren dat de teksten van Paul McCartney de kracht hebben om letterlijk je geboortedatum te verschuiven.

"Een belangrijk ding"

Psychologie is geen wetenschap van zekere dingen. Mensen zijn raar en rommelig en doen dingen om allerlei redenen. Dus, wanneer psychologen een experiment uitvoeren, is er altijd een risico dat een effect dat ze zien - of het ESP is of bijvoorbeeld een neiging heeft om honger te krijgen als ze hamburgers ruiken - niet echt is, en het is gewoon het resultaat van willekeurig toeval. [25 rare dingen die mensen elke dag doen en waarom]

Maar statistieken bieden een hulpmiddel om dat risico te meten: de P-waarde.

"P-waarde, simpel gezegd, is: als alles gewoon ruis was, als alle gegevens willekeurig waren, hoe groot is de kans dat ik een patroon zou hebben waargenomen zoals het patroon dat ik heb waargenomen?" Vazire vertelde WordsSideKick.com. "Hoe groot is de kans dat ik een verschil zou zien dat groter of groter was als het slechts willekeurige gegevens waren?"

Als een studie een P-waarde van 0,01 heeft, betekent dit dat als er geen echt effect was, er nog steeds een kans van 1 procent zou zijn om een ​​zo groot of groter resultaat te krijgen - een vals positief resultaat. Een waarde van 0,20 betekent dat zelfs zonder echt effect er nog steeds een 20 procent kans op een resultaat is dat in ieder geval zo groot is.

"Als een veld hebben we besloten dat als een p-waarde minder dan 5 procent is, we het als een statistisch significant ding gaan behandelen," zei Vazire. [Wat is een theorie?]

Als de P-waarde suggereert dat een resultaat slechts een kans van 5 procent zou hebben om te verschijnen zonder een echt effect, is het significant genoeg om de moeite waard te zijn serieus te nemen. Dat was de regel in de psychologie. En het leek te werken - totdat het dat niet deed.

beslissingen

Dus, met die test op zijn plaats, hoe was het "onaanvaardbaar gemakkelijk" om tot valse conclusies te komen?

Het probleem, Simmons, Nelson en Simonsohn concludeerde, was dat onderzoekers te veel "vrijheidsgraden" hadden bij het uitvoeren van hun studies. Terwijl psychologen experimenten uitvoeren, schreef het team, nemen ze beslissingen na een beslissing die de resultaten kunnen beïnvloeden op een manier die P-waarden alleen niet kunnen detecteren.

De P-waardetest, zei Vazire, "werkt zolang je maar één P-waarde per onderzoek berekent."

Maar dat is niet altijd hoe wetenschappers werkten.

"Als ik een dataset krijg met een dozijn of meer variabelen" - zaken als leeftijd, geslacht, opleidingsniveau of verschillende manieren om resultaten te meten - "kan ik er wat mee spelen", zei Vazire. "Ik kan verschillende dingen proberen en naar verschillende subgroepen kijken."

Misschien zegt niet iedereen in een studiegroep honger te krijgen als ze hamburgers ruiken (zoals in het geval van de ingebeelde studie van vroeger). Maar veel mannen van 30 tot 55 doen dat wel. Wetenschappers kunnen mogelijk een kennelijk statistisch significante bewering dat mannen in die leeftijd honger lijden als ze hamburgers ruiken, rapporteren en niet vermelden dat het effect niet is opgekomen bij iemand anders die is gestudeerd.

"Als we het vele malen mogen proberen, krijgen we uiteindelijk een resultaat dat er extreem uitziet, maar het is eigenlijk toevallig," zei Vazire.

En het presenteren van dit soort kersverse resultaat werd gewoon niet beschouwd als valsspelen.

"Vroeger was het gebruikelijk om de tijdens een studie verzamelde gegevens te bekijken en vervolgens beslissingen te nemen," zei Srivastava. "Zoals welke variabele de belangrijkste test van uw hypothese is, of hoeveel onderwerpen u wilt verzamelen."

Een manier om uit willekeurige ruis een positief resultaat te produceren, zei Srivastava, is om onderwerpen toe te voegen aan een onderzoek in kleine batches - verzamel enkele resultaten en kijk of de gegevens de antwoorden bieden waarnaar je op zoek bent. Als dat niet het geval is, voegt u iets meer toe. Spoel en herhaal totdat een statistisch significant effect naar voren komt en vermeld nooit in het definitieve artikel hoeveel stoten en controles het heeft gedaan om dat resultaat te produceren.

In deze gevallen probeerden de meeste psychologen waarschijnlijk geen vals-positieven te vinden. Maar het zijn menselijke wezens die positieve resultaten wilden, en te vaak maakten ze beslissingen die hen daar brachten.

Wat was gepland en wat niet?

Toen eenmaal duidelijk werd dat de normale manier van psychologie niet werkte, was de vraag wat te doen.

"Ik heb in het begin veel gesproken over de steekproefomvang en over hoe we grotere voorbeelden nodig hebben", zei Vazire.

Het is veel moeilijker om de resultaten, hetzij opzettelijk of onopzettelijk, te fudge in een experiment uitgevoerd op 2000 mensen dan in een studie van 20 mensen, bijvoorbeeld. [Wat is een wetenschappelijke wet?]

"Dat was een soort van de eerste grote duw in de psychologie onder mensen die aandrongen op hervorming, maar uiteindelijk verschoof het meer naar transparantie," zei ze.

En daar begon de echte pushback.

"Ik zou zeggen dat er een vrij goede consensus is in de psychologie dat we onze gegevens zoveel mogelijk openbaar beschikbaar moeten maken, en dat we onze materialen en procedures en code ([noodzakelijk] om onze studies te repliceren) openbaar beschikbaar moeten maken."

Maar in toenemende mate begonnen hervormingspsychologen - waaronder Srivastava en Vazire - aan te dringen op een andere oplossing, geleend van klinische proeven in de farmaceutische industrie: voorregistratie.

"Voorregistratie Ik zie als een andere tak van transparantie om anderen te laten verifiëren wat was gepland en wat niet," zei Vazire.

Het is een force-mechanisme dat is ontworpen om die vrijheidsgraden te beperken waar Simmons, Nelson en Simonsohn zich zorgen over maken.

"Voorregistratie betekent dat voordat u gegevens voor een studie verzamelt, u een plan opschrijft van wat u gaat doen," zei Srivastava. "Je identificeert alle dingen die je misschien hebt om onderweg beslissingen te nemen en je neemt deze beslissingen van tevoren." [10 dingen die je niet wist over jou]

Deze beslissingen omvatten zaken als welke variabelen psychologen zullen analyseren, hoeveel onderwerpen ze zullen bevatten, hoe ze slechte onderwerpen uitsluiten - alles dat van tevoren wordt opgeschreven en ergens met een tijdstempel wordt gepubliceerd, zodat andere onderzoekers terug kunnen gaan en kunnen checken het.

Het idee is dat, zonder al te veel vrijheidsgraden, onderzoekers niet zullen afdrijven in de richting van fout-positieve resultaten.

"Wetenschap in ketens"

Maar niet iedereen houdt van het idee.

"Er is absoluut een generatie verschil," zei Srivastava. "Wanneer ik praat met jongere afgestudeerde studenten en mensen in de beginfase van de carrière, lijkt het vaak alsof het gewoon logisch voor hen is."

Dat is een zeer zichtbare, activistische groep - preregistratie is een populair onderwerp in de online psychologiegemeenschap - en mede dankzij dat activisme heeft de praktijk aanzienlijke vooruitgang geboekt. (Het vooraanstaande tijdschrift Psychological Science moedigt nu preregistratie aan, bijvoorbeeld.) Maar preregistratie-voorstanders zijn niet het duidelijke centrum van macht in de psychologie, en hun inspanningen zijn op een aantal belangrijke punten teruggekomen.

Vaak is die pushback niet-officieel. De controverse lijkt veel meer verhit op Twitter en rond de waterkoelers van de afdeling psychologie dan op de pagina's van tijdschriften. Niet te veel onderzoekers hebben antiprepistratieposities publiekelijk ingezet.

Maar voorinschrijving is niet zonder zijn prominente tegenstanders. Sophie Scott, neurowetenschapper aan het University College London en een expert in de mentale spraakprocessen, schreef in 2013 een column voor Times Higher Education getiteld 'Pre-registratie zou wetenschap in ketens doen', met als argument dat de praktijk 'moet worden weerstaan'.

"Beperking van meer speculatieve aspecten van gegevensinterpretatie brengt het risico met zich mee dat papieren meer eendimensionaal in perspectief worden gemaakt", schreef ze en voegde eraan toe dat "de eis om onderzoeken te verfijnen en hun interpretatie voorafgaand aan het verzamelen van gegevens ons zou beletten te leren van onze fouten onderweg."

Scott voerde ook aan dat voorinschrijving te veel waarde hecht aan een smal soort wetenschappelijk werk: hypothesetesten. Niet alle wetenschappers werken door vooraf uit te zoeken welke vragen ze willen beantwoorden, schreef ze, dus preregistratie zou verkennend onderzoek doden.

Vazire erkende de zorg dat preregistratie het vermogen van onderzoekers om onverwachte effecten te detecteren zou beperken.

Maar ze zei: "Velen van ons die preregistreren, zeggen dat dat niet waar is, dat kan, alles wat je wilt, je moet gewoon eerlijk zijn over het feit dat je aan het verkennen bent en dit was niet gepland."

Verkennend onderzoek, zei ze, kan nog steeds "super opwindend en de moeite van publiceren waard zijn", maar onderzoekers moeten minder vertrouwen hebben in de resultaten. "Het deel van die kritiek dat waar is en ik denk dat we heel, heel duidelijk moeten zijn, is dat Ik zal minder vertrouwen hebben in dat resultaat, "zei Vazire.

"Bijna alles wat ik doe is verkennend," zei ze. "Ik ben nu juist heel duidelijk over het feit dat dit een hypothese is die nog moet worden getest en er nog geen conclusies uit moeten worden getrokken."

"Wetenschappers zijn mensen"

Voorstanders van preregistratie zijn snel te erkennen dat het niet een remedie is voor de ziekten van de psychologische wetenschap.

In 2011 kwamen in hetzelfde jaar de ESP en valse positieven uit, de Nederlandse psycholoog Diederik Stapel - wiens werk het veld van de sociale psychologie had gevormd - werd opgeschort van de Universiteit van Tilburg voor het fabriceren van gegevens in "tientallen studies", aldus New Scientist. Het was weer een behoorlijke slag, maar van een andere aard dan die van Bem, die echt leek te geloven dat zijn resultaten ESP toonden.

"Voorinschrijving is geen goede controle op fraude", zei Srivastava. "Het is een goede controle tegen goedbedoelde fouten en een controle tegen gewone menselijke vooroordelen en gewoonten."

En, zoals Vazire opmerkte, het is mogelijk om een ​​studie onvolledig of onjuist te preregistreren, zodat het onderzoek nog steeds veel te veel vrijheidsgraden kent. Er zijn al voorbeelden van 'vooraf geregistreerde' onderzoeken die reformisten hebben bekritiseerd vanwege lakse en onvolledige registratie-inspanningen.

Dat betekent dat in plaats van alleen maar te zeggen "deze studie was vooraf geregistreerd" het hoofdartikel shd specifiek zou zeggen * wat * vooraf was geregistreerd (uitsluitingsregels, scores, transformaties, enz.) En de resultatensectie structureel een onderscheid moet maken tussen prereg en niet-geregistreerde prereg-analyses

- Sanjay Srivastava (@hardsci) 27 februari 2018

Voor nu, Srivastava zei, het project voor hervormers is om door te gaan met het argument voor preregistratie te maken als een uitweg uit de psychologische crisis, en hun collega's te overtuigen om mee te gaan.

"Een universele is dat wetenschappers mensen zijn," zei Srivastava, "en menselijke wezens hebben vooroordelen en we hebben prikkels en al die andere dingen waar we tegen moeten kijken."

Oorspronkelijk gepubliceerd op WordsSideKick.com.


Video Supplement: Tips: ZO KOM JIJ OVER JE EX HEEN! - LIEFDESVERDRIET - Psycholoog Najla.




Onderzoek


Obama Bekleedt Wetenschapsonderzoek In Het Adres
Obama Bekleedt Wetenschapsonderzoek In Het Adres

5 Mind-Bending Feiten Over Dromen
5 Mind-Bending Feiten Over Dromen

Science Nieuws


Is Google Street View Legaal?
Is Google Street View Legaal?

Whooping Cough Maakt Maar Liefst Comeback
Whooping Cough Maakt Maar Liefst Comeback

Nieuwe Meteorenregen: Waar Te Kijken Naar Tonight'S Sky Show
Nieuwe Meteorenregen: Waar Te Kijken Naar Tonight'S Sky Show

Hoofdargument Voor Global Warming Critics Evaporates
Hoofdargument Voor Global Warming Critics Evaporates

Genmutatie Verhoogt Enorm Het Risico Op Schizofrenie
Genmutatie Verhoogt Enorm Het Risico Op Schizofrenie


WordsSideKick.com
Alle Rechten Voorbehouden!
Reproductie Van Materialen Toegestaan Alleen Prostanovkoy Actieve Link Naar De Site WordsSideKick.com

© 2005–2019 WordsSideKick.com