A táplálkozáskutatóként dolgozó Brian Wansink nemcsak a publikációi miatt számít a terület egyik legismertebb szakemberének. Kutatási eredményeit látva még a Google és a Fehér Ház is leigazolta, hogy ő határozza meg az egészséges táplálkozással kapcsolatos stratégiát. Azóta kiderült, hogy Wansink több tanulmánya is az úgynevezett p-hackingre, a tudományos publikációk rendszerének meghekkelésére épült, a népszerűségét pedig a bulvármédia felhajtóerejének köszönheti, amire tudatosan rá is játszott. Miután több kutató is hézagokat talált Wansink módszertanában, több tanulmányát visszavonták, és a Cornell Egyetem is szerződést bontott vele. De ez a történet nem csak Wansinkről szól; az ő esete csak a probléma egyik tünete.
A világ legolvasottabb tudományos folyóiratait kiadó JAMA visszavonta a dietetikus Brian Wansink hat, náluk publikált tanulmányát. Wansink a Cornell Egyetem Food and Brand Lab igazgatójaként számos publikációt közölt, amiknek köszönhetően nem várt népszerűségre tett szert.
A Cornell Egyetem felügyelőbizottsága múlt csütörtökön közölte, hogy Wansink tudományos módszertani hibákat követett el, és hogy a Cornell-lel való együttműködése 2019. június 30-án véget ér; a hátralévő hivatali idejét meglévő projektek felülvizsgálatával fogja tölteni.
Nem került sor csalásra, nem adtunk le szándékosan meghamisított jelentést, nem másoltunk senkit, és nem hanyagságból alakultak így a dolgok. Úgy gondolom, a megállapításaimat mást kutatócsoportok idővel támogatni, bővíteni vagy módosítani fogják.
– mondta Wansink a Voxnak az eset kapcsán.
A Wansink-tanulmányok visszavonásából azért lett botrány, mert Wansink a táplálkozástudomány világhírű szakértője. Talán még nem hallott róla, de az ötleteivel már biztos találkozott. Wansink több száz tanulmányt publikált, amiket több mint húszezerszer hivatkoztak. A Fehér Ház megbízásából 2007 és 2009 között az amerikai táplálkozástani irányelvek (Dietary Guidelines) kidolgozásában is részt vett. Két könyve – Mindless Eating és Slim by Design – bestsellerré vált, és a dietetikai konferenciákon sztárelőadónak számított. Mivel a USDA irányelveinek kidolgozásában is részt vett, a táplálkozástudományi kutatásainak társadalmi-politikai hatása is volt – az amerikai élelmiszeripari cégek például az ő hatására kezdték kisebb csomagokban árulni az édességet és a csipszet. Sőt, nemcsak az amerikai kormány, hanem a Google és az amerikai hadsereg is felkérte, hogy dolgozzon ki a helyes táplálkozásra vonatkozó irányelveket.
A Wansink iránti bizalom akkor rendült meg, amikor a kutató 2016-ban publikált egy (azóta törölt, de archivált változatban még elérhető) blogposztot, The Grad Student Who Never Said No (A végzős diák, aki sosem mondott nemet) címmel. A bejegyzés nagy port kavart a benne foglalt szakmai tanácsok tanácsok, illetve a megkérdőjelezhető kutatási módszerek miatt.
Három szakértő – Nick Brown, Jordan Anaya és Tim van der Zee – röviddel a poszt megjelenése után azzal keresték meg Wansinket, hogy négy, a posztban hivatkozott tanulmányában több hibát és következetlenséget fedeztek föl. Wansink eleinte válaszolt is az emailjeikre; még egy társszerzőkként közösen jegyzett tanulmány lehetőségét is felvetette. Miután a kutatók világossá tették, hogy szeretnék látni a hivatkozott tanulmányokhoz használt adatokat, amik a téves megállapításokhoz vezethettek, Wansink többé nem válaszolt az emailekre.
A kutatók ezután döntöttek úgy, hogy nyilvánosságra hozzák a felfedezett hibákat. Az (azóta tekintélyes méretűvé duzzadt) Wansink-dosszié részletezi, hogy a kutató melyik tanulmányában milyen szakmai hibákat követett el, illetve mely állításai lehetnek megalapozatlanok. A sajtó tavaly februárban kezdett el foglalkozni Wansink módszertani hibáival. Végül a Buzzfeed-riporter Stephanie Lee oknyomozó munkája adta meg a végső lökést ahhoz, hogy ezek a hibák napvilágra kerüljenek. Lee a Food and Brand Labnél tett látogatása során felülvizsgálta Wansink kutatásait, és megállapította, hogy a kutatások során több esetben is rosszul kezelték az adatokat.
Ezután már nem lehetett elkerülni a szakmai felülvizsgálatot. Végül összesen 13 Wansink-tanulmányt vontak vissza, azokkal együtt, amiknek a visszavonását a JAMA múlt szerdán bejelentette. Ezek között volt olyan, ami azzal foglalkozott, hogy
A tanulmányok visszavonásról szóló sajtóközleményben a JAMA szűkszavúan csak annyit jegyzett meg, hogy a Cornell nem tudott elég anyagot szolgáltatni ahhoz, hogy biztosítsa a visszahívott hat tanulmány tudományos megalapozottságát, mivel nem juthattak hozzá az adatokhoz, amikből Wansink dolgozott. Ez egyben azt is jelenti, hogy
nem biztos, hogy Wansink elméletei megalapozatlanok, de nincs elég tudományos bizonyítéka, hogy alátámassza őket.
A Cornell képviselője viszont úgy látja, hogy Wansink több szakmai hibát követett el. Tévesen jelentett kutatási eredményekről; problémák adódtak a statisztikai módszertanával; nem dokumentálta és őrizte megfelelően a kutatási adatokat; téves jelentéseket készített a kutatási adatokról; és a statisztikai módszertana is kifogásolható volt.
De a történet nemcsak Wansink, hanem az akadémiai publikációs rendszer hiányosságaira is rávilágított.
Wansink gyakran választott olyan kutatási területeket, amikről sejteni lehetett, hogy a média is fel fogja kapni az ezzel foglalkozó tanulmányokat. Egy 2009-es tanulmányában levezette, hogy A főzés öröme (Joy of Cooking) című legendás szakácskönyv felelős Amerika elhízásáért. Wansink azt állította, hogy az 1936 óta több kiadásban is megjelent, 18 millió példányban elkelt könyv újabb kiadásaiban egyes receptek több kalóriát tartalmaznak, mint a régebbi változatokban. A 18 kiválasztott klasszikus receptnél Wansink 35 százalékos kalórianövekedést figyelt meg. De Wansink nevéhez fűződik a híres feneketlentányér-elmélet is, ami azt sugallja, hogy az emberek nyakló nélkül fogják zabálni a levest az automatikusan újratöltött tányérból.
Ezek a kutatások mind beleillettek abba az átfogó képbe, amit Wansink a táplálkozástudományról gondolt: a környezeti tényezők befolyásolják azt, hogy mit, mennyit és hogyan eszünk. Csakhogy Wansink úgy választotta meg a kutatási területeit, és olyan módszertannal dolgozott, hogy a kutatások az ő alapfeltételezéseit támasszák alá.
Wansink, illetve két munkatársa, Collin. R. Payne és David R. Just 2012-ben publikálták közös tanulmányukat (Can Branding Improve School Lunches?), amiben az iskolai étkeztetés megreformálásával foglalkoztak. Kutatásuk szerint a kisiskolások egyszerű módszerekkel is rászoktathatók az egészséges táplálkozásra – egy kisiskolás például a süti helyett az almát fogja választani, ha a Szezám utcából ismert Elmo képét matricázzák rá.
Az első vizsgálatokat 2008-ban végezték, de az akkori eredmények egy hajszálnyival elmaradtak a statisztikai hibahatártól, ami tudományos megalapozottságot biztosított volna a konklúziónak. Wansink ezután úgy tekerte-csavarta-szortírozta az adatokat, hogy olyan eredményt kapjanak, ami alátámasztja az eredeti állítást. Ezt úgy sikerült elérnie, hogy a 8-11 éves iskolásokon kívül a kutatásban részt vevő kisgyerekeket is számításba vette, akiket nyilván jobban felvillanyoztak az Elmo-matricák, mint az alsós diákokat.
Wansink nem egyszer élt ezzel a módszerrel, de végül épp emiatt kezdték el megkérdőjelezni a kutatásai megbízhatóságát.
De mi vehette rá a világ egyik legismertebb dietetikusát, hogy ilyen megkérdőjelezhető módszerekhez folyamodjon? Az egyik ok az, hogy sokan a tudományos publikációk rendszerét kijátszva próbálnak hírnevet szerezni maguknak a tudományos életben – mint azt Wansink példája is bizonyítja, sikerrel.
P-hacking, vagyis p-hekkelés – így nevezik a tudományos életben a publikációs rendszerrel való visszaélést. Abból, hogy ennek külön neve van, kitalálhatták, hogy Wansink esete korántsem egyedi – olyannyira nem, hogy a PLOS folyóirat tanulmányt is publikált a p-hacking mértékéről és következményeiről (The Extent and Consequences of P-Hacking in Science).
A tudományos életben az egyes kutatók "értékét" a publikációik száma alapján határozzák meg. Ahhoz, hogy valaki elismert tudósnak számítson, sokat kell publikálnia a világ legrangosabb tudományos folyóirataiban. A publikáláshoz viszont statisztikailag szignifikáns eredményekre van szükség. A p-hacking névben a p (mint probability, azaz valószínűség) a p-értékekre (p-value) utal; ez az úgynevezett statisztikai szignifikancia mértékegysége. Nagyon leegyszerűsítve ennek az a lényege, hogy
ha p kisebb mint .05, az eredmény statisztikailag szignifikáns; minél kisebb a p értéke, annál valószínűbb, hogy a kiinduló hipotézis helyes.
A p-hacking célja, hogy a p értéke mindig kisebb legyen .05-nél. P-hackingnek számít az is, ha egy kutató megállítja a tanulmányt, ha eléri a .05-ös határt. A nagy mennyiségű adattal dolgozó kutatóknál mindig fennáll annak a kockázata, hogy addig csűrik-csavarják a rendelkezésre álló adathalmazt, amíg észre nem vesznek bennük egy olyan mintázatot, ami alátámaszthatja a hipotézist. De nem is muszáj ennyire céltudatosan torzítani az adatokat. Ha elég sok adatunk van, és elég analízist futtatunk, csak idő kérdése, hogy találjunk egy összefüggést.
Lee, aki hozzáférhetett Wansink emailjeihez is, azt írta a témával foglalkozó cikkében, hogy Wansink, ahelyett, hogy a hipotéziseit tesztelte volna, és közölte volna, hogy mit állapított meg, gyakran a beosztottjait is arra biztatta, hogy addig elemezzék az adatokat, amíg nem bukkannak rá egy érdekesnek tűnő eredményre. Vagyis nem kutatómunkát végzett, hanem biturbó üzemmódba kapcsolta a p-hackinget.
Lee szerint ez tudatos volt a kutatók részéről. 2008 és 2016 között Wansink és csapata azt a stratégiát követte, hogy kevésbé szigorú felülvizsgálati feltételeket támasztó tudományos folyóiratokban publikáltak közérdeklődésre számot tartó, jól hangzó eredményeket, amiket aztán a mainstream média is felkapott. Naná: a dietetikában mindenki érintett, elvégre mindenki szokott enni, és ha egy világhírű tudós azt mondja, hogy márpedig a táplálkozásunkat ezek és ezek a paraméterek határozzák meg, arra mindenki oda fog figyelni. Ezzel viszont az a baj, hogy
A P-HACKINGRE ÉPÍTŐ TANULMÁNYOK ISMERTTÉ TEHETNEK EGY TUDÓST, DE TÖNKRETEHETIK A TUDOMÁNY EGÉSZÉT.
Az egyes tanulmányok akkor számítanak megbízhatónak, ha az eredményeik reprodukálhatók. A megbízhatóságuk azért fontos, mert a tudományos életben nemcsak az önálló tanulmányok fontosak, hanem a több ezer tanulmány adataira épülő metaanalízisek is. Az olyan összetett jelenségek, mint például az éghajlatváltozás elemzése gyakran több ezer kutatás feldolgozásán alapul, és ha csak egy meghekkelt van közöttük, az máris torzíthatja a teljes képet.
A tudományos életnek van egy önvédelmi módszere az ilyen publikációk ellen: a peer review, azaz a kollegiális lektorálás intézménye. Ilyenkor a kutatási eredményeket a terület más szakértői vizsgálják át, akik eldönthetik, hogy a tanulmány publikálható-e; hogy publikálás előtt szükséges-e bizonyos javításokat vagy átdolgozásokat elvégezni rajta; vagy úgy kell az egészet kukázni, ahogy van. Nem véletlenül kezdték megszervezni azt a mozgalmat, ami a Wansinkre is jellemző kutatási módszereket akarja száműzni a tudományos életből. Erre több módszer is kínálkozik:
Végleges megoldást valószínűleg csak az hozna, ha megváltoztatnák az akadémiai publikációs rendszert. Ha a tudományos élet nem a publikációk számát jutalmazná, talán kialakulhatna az a kultúra, ahol nem a hibás módszertannal készült, de népszerű tanulmányokat jutalmazzák, hanem a vakvágányra futott kísérleteket is értékelik. Lehet, hogy így a tudományos élet kevesebb sztárt termelne ki, de ezer téves hipotézis akkor is közelebb visz az igazsághoz, mint egyetlen, rossz módszertannal készült publikáció.
(Vox | The Skeptical Scientst | PLOS)
(Borítókép: Cornell University Food and Brand Lab)