Egy tudományos átláthatóságért küzdő kutatócsoport megpróbált megismételni egy sor rangos folyóiratban publikált társadalomtudományi kísérletet, de felemás eredményt kaptak: a 21-ból csak 13 eredményeit tudták replikálni, a többi nem állta meg a helyét – írja a Gizmodo.
Egy-egy kutatás megismétlése nem puszta kekeckedés, hanem a kutatói munka szerves része. A tudomány alapvető működésmódjához tartozik, hogy az kutatások fokozatosan épülnek egymásra, olykor megerősítve korábbi eredményeket, máskor ellentmondva nekik. Ezért a tudományosság fontos kritériuma a megismételhetőség: ha egy replikált kísérlet eredménye egybevág az eredetivel, hitelesíti azt, ha nem, akkor valamilyen hiányosságára mutathat rá.
Az utóbbi években azonban egyre többször fordult elő, hogy egy-egy híres kísérlet megbízhatóságával kapcsolatban kételyek merültek fel, mert nem sikerült megismételni az eredményeiket. Erről a replikációs válságnak is hívott jelenségről és a mögötte húzódó rendszerszintű okokról, illetve a lehetséges megoldásokról a szociálpszichológiai kísérletek kapcsán korábban hosszabban is írtunk.
A pszichológia és a közgazdaságtan után a Center for Open Science (Központ a Nyílt Tudományért) csapata ezúttal a társadalomtudományok felé irányította a figyelmét: a világ két talán legrangosabb tudományos folyóiratában, a Science-ben és a Nature-ben 2010 és 2015 között megjelent 21 kísérletet vettek elő, hogy megpróbálják replikálni őket, ami már önmagában sem mindig egyszerű feladat. Végül 7-et sikerült teljesen azonos módszertannal megismételni, 12-t kisebb változtatásokkal, 1-et szándékolatlan különbségekkel, 1-nek a megismétlése során pedig hibát követtek el az adatgyűjtésben. Mindegyik kísérletet az eredetinél nagyobb mintán végezték el, ami általánosságban növeli az eredmények megbízhatóságát.
Összességében a 21-ből 13-nál tudták igazolni az eredeti konklúziókat – ami valamivel jobb, mint amit a pszichológiai kísérletek megismétlésekor kaptak, és nagyjából azonos azzal, ahogy a közgazdaságtani kutatások teljesítettek. Ugyanakkor annál a 13-nál is, amely megállta a helyét, az eredeti tanulmányok erősebben támogatták a kutatási hipotézist, mint a megismételt kutatások. A többinél viszont gyakorlatilag nem találtak semmilyen bizonyítékot arra, hogy az eredeti következtetések megállnák a helyüket.
Ezek a megkérdőjelezhető megbízhatóságú kutatások főleg az emberi viselkedést vizsgáló kísérletek voltak. Az egyik például azt állította, hogy azok, aki Rodin Gondolkodó című híres szobráról nézegettek képeket, ezután arról számoltak be, hogy kevésbé hisznek vallásos nézetekben. Egy másik szerint azok, akikkel szépirodalmi szövegeket olvastattak, jobban teljesítettek tudatelméleti teszteken, mint akik nem fikciós szövegeket olvastak.
A Nature Human Behaviour szaklapban megjelent replikációs tanulmányukban szerzői a kísérletek megismétlése mellett végeztek egy felmérést is, amelyben közel négyszáz társadalomtudóst kérdeztek arról, hogy szerintük a kiválasztott kutatások megismételhetők-e. A felmérés eredményei nagyrészt jól előrevetítették az ezután elvégzett ismétléses kutatások tényleges eredményét, amiből a szerzők azt a tanulságot vonták le, hogy az eredményeiket nem a véletlen szülte, hiszen a kutatói közösség is érezte, melyik kutatások lehetnek problémásak.
Minden megismételt tanulmány eredeti szerzői reagálhattak az új eredményekre. Volt olyan csapat, amely kitartott az eredeti konklúziói mellett; egy másik az eredeti eredményeit potenciálisan torzító hatásokra mutatott rá; de volt olyan csapat is, amely ennek hatására több másik kísérletét is megismételte, és egyetértett a szerzőkkel abban, hogy a kiválasztott tanulmányuk fals pozitív volt, vagyis elfogadták, hogy az eredményük nem állja meg a helyét.
Az ilyen ismétléses kutatásoknak is megvannak a korlátai, és ezeket a kísérleteket is érik támadások olyan kutatók részéről, akik boszorkányüldözésnek tartják ezt a replikációs gyakorlatot. A szerzők szerint viszont a munkájuknak van eredménye, mert egyre több folyóirat teszi szigorúbbá és átláthatóbbá a követelményeit, illetve egyre több kutató törekszik nagyobb transzparenciára, például nemcsak az eredményei, de az adatai megosztásával, illetve az előregisztrációval, ami azt jelenti, hogy már az adatgyűjtés megkezdése előtt lefektetik a pontos módszertant, hogy a kísérletben kevésbé csúszhasson bele menet közben akaratlan torzítás. Az ismétléses kutatások szerzői pedig azt remélik, hogy mindez a tudományos élet fokozatos megtisztulásához fog vezetni.