Yksi eniten harmaita hiuksia aiheuttanut ongelma omassa tutkimustyössäni on ollut päättää, miten analysoida kerätty data. Samaan tutkimuskysymykseen, samaa dataa käyttäen on mahdollista tehdä analyysi useilla eri tavoilla. Kauhukseni huomasin myös, että tulokset saattavat muuttua täysin pientenkin muutosten seurauksena. Lopulta vastauksena samaan tutkimuskysymykseen, samaa aineistoa käyttäen oli esitelty eri kongresseissa useita eri tuloksia. Yritin kuumeisesti selvittää, mikä on oikea tapa tehdä analyysit. Olin varmasti tehnyt jonkinlaisen virheen, mikä muu muka olisi voinut selittää ristiriitaiset tulokset? Kyseessä ei kuitenkaan ollut virhe, vaan tilanne oli hyvin tyypillinen.
Määrällisessä tutkimuksessa analyysimenetelmät yleensä perustuvat hypoteesin testaukseen. Tutkija siis muodostaa aiemman tiedon perusteella hypoteesin, jonka testaamiseksi suunnittelee ja toteuttaa tutkimuksen. Kerätyn aineiston analysoinnissa käytetyt tilastolliset testit yleensä tuottavat tulokseksi p-arvon, joka kertoo, miten yllättävää olisi saada kyseessä olevat tulokset, jos tutkittu ilmiö ei todellisuudessa ole olemassa. Jos p-arvo on riittävän pieni, todetaan että tulos on tilastollisesti merkitsevä. Esimerkiksi psykologiassa yleisimmin käytetty tilastollisen merkitsevyyden raja .05 tarkoittaa rajusti yksinkertaistettuna, että jos toteuttaisit saman tutkimuksen sata kertaa ja tutkittu ilmiö ei ole todellinen, vain viisi näistä tutkimuksista voisi tuottaa havaitun aineiston. Tämä ei kuitenkaan kerro, miten todennäköisesti tutkijan hypoteesi on totta. Testi ei kerro syytä esimerkiksi ryhmien välillä havaittuun eroon tai kahden muuttujan väliseen korrelaatioon. Testi ei myöskään kerro, onko tutkimus suunniteltu ja toteutettu tarkasti, vastaako se todella tutkijan kysymykseen tai onko otos satunnainen. P-arvo kertoo siis vain, miten epätodennäköistä olisi saada kyseinen tulos, jos ilmiö ei olisi todellinen ja vaihtelu olisi vain satunnaista virhettä.
Esimerkiksi tuoreessa Many analysts, one dataset -tutkimuksessa 29 tiimiä, joihin kuului yhteensä 61 tutkijaa analysoi saman aineiston tahoillaan (Silberzahn, ym., 2018). Kaikille tutkimuskysymys oli sama: näyttävätkö jalkapallotuomarit punaista korttia todennäköisemmin tummempi-ihoisille pelaajille kuin vaaleampi-ihoisille. Tulokset erosivat toisistaan huomattavasti, efektikoko oli alimmillaan hyvin pieni ja korkeimmillaan keskisuuri. Kaksikymmentä tiimiä sai tilastollisesti merkitsevän tuloksen ja yhdeksän ei-merkitsevän. Analyyseissä oli 21 erilaista yhdistelmää kontrollimuuttujia. Osa tutkimusryhmistä olisi siis todennut, että punaista korttia näytettiin ihonväriltään tummemmille pelaajille huomattavasti useammin, osa olisi todennut ihonvärin merkityksen melko pieneksi ja osa ei olisi havainnut ihonvärin perusteella mitään eroavaisuutta. Saman datan ja samojen tutkimuskysymysten perusteella oltaisiin siis voitu päätyä aivan eri johtopäätöksiin, riippuen analyysitavasta.
Mainitsin jo edellisessä postauksessa, miten Simmons, Nelson ja Simonsohn vuonna 2011 julkaistussa artikkelissaan onnistuivat yleisiä tutkimuskäytäntöjä noudattaen saamaan tuloksen, jonka mukaan Beatlesin When I’m Sixty Four -kappaleen kuunteleminen nuorensi kuulijaa puolitoista vuotta. He hyödynsivät tutkimuksessaan metodologisia harmaita alueita ja onnistuivat näin nostamaan väärän positiivisen tilastollisesti merkitsevän tuloksen todennäköisyyden oletetusta viidestä prosentista 61 prosenttiin. Simmons ja kollegat nimesivät nämä ongelmalliset käytännöt p-hakkeroinniksi. P-hakkerointi toteutetaan käytännössä niin, että tutkimusasetelman joustavuutta hyväksi käyttäen ajetaan useita erilaisia analyyseja, valikoidaan tilastollisesti merkitsevät ja julkaistaan vain ne. Kuten tunnetussa sanonnassa todetaan: ”kun kidutat dataa tarpeeksi kauan, se tunnustaa mitä vain”. Tämä voi tarkoittaa käytännössä esimerkiksi otoskoon kasvattamista, kontrollimuuttujien lisäämistä ja outlierien poistamista, kunnes saavuttaa tilastollisesti merkitsevän tuloksen. Esimerkiksi ei-merkitsevän tuloksen jälkeen aineistonkeruuta jatkamalla väistämättä lopulta saa tilastollisesti merkitsevän tuloksen, ellei kärsivällisyys, rahoitus tai aika lopu ensin kesken. Psykologisissa tutkimuksissa usein myös käytetään lukuisia eri mittareita samassa tutkimuksessa. Tilanne on erityisen otollinen p-hakkeroinnille, sillä mitä enemmän muuttujia on käytettävissä, sitä todennäköisemmin onnistuu löytämään tilastollisesti merkitsevän tuloksen.
Kun samassa tutkimuksessa tehdään useita eri vertailuja ja analyysejä, näiden vertailujen p-arvoja ei tulisi tulkita toisistaan erillisinä. Jos samanaikaisesti tehdään useita tilastollisia testejä muuttamatta merkitsevyystasoa, väärän positiivisen todennäköisyys kasvaa. Kahden testin tapauksessa virheen todennäköisyys tuplaantuu ja jos tehdään sata testiä, on väärän positiivisen tuloksen saaminen lähes väistämätöntä. Xkcd:n sarjakuva ”significant” havainnollistaa tätä ongelmaa hienosti. Sarjakuvan hypoteesi, että vain tietynväriset karkit aiheuttaisivat aknea on tietysti hieman hullu. Kuitenkin jos kuvittelet tilalle jonkin uskottavamman hypoteesin, virheen todennäköisyys pysyy silti samana. Monivertailujen tapauksessa ongelma on suhteellisen helppo ratkaista käyttäen esimerkiksi Bonferroni-, Bonferroni-Holm- tai Benjamini-Hochberg -korjausta. Pitäisi myös olla itsestään selvää, että näitä korjauksia ei tehdä vain julkaistuille vertailuille vaan kaikille vertailuille, joita on tehty.

Jos kaikki tehdyt analyysit raportoidaan julkaisussa avoimesti ilman korjauksia, muiden tutkijoiden on ainakin teoriassa mahdollista arvioida näytön tasoa realistisesti. Vakavin versio p-hakkeroinnista on muodostaa hypoteesit vasta, kun tulokset ovat tiedossa. Norbert Kerr kutsui tätä käytäntöä 1998 julkaistussa paperissaan HARKingiksi, eli ”Hypothesizing After the Results are Known”. Ongelmana on eksploratiivisen analyysin esittäminen konfirmatorisena analyysinä eli hypoteesin testauksena. Eksploratiivista analyysia tehdessä ei aseteta tarkkoja hypoteeseja, vaan annetaan aineiston puhua puolestaan. Tässä ei ole mitään vikaa, sillä näin on mahdollista esimerkiksi löytää yllättäviä yhteyksiä tai tunnistaa ilmiöitä, joita ei osattu etukäteen odottaa. Ongelmia seuraa, kun näin muodostetut hypoteesit vahvistetaan saman aineiston avulla, jota on käytetty niiden muodostamiseen. Jos tutkimuksessa käytetään useita eri mittareita, ja ajetaan useita eri analyysejä eri yhdistelmille, osa tuloksista on väistämättä merkitseviä. Mikäli tutkija raportoi nämä merkitsevät tulokset antaen ymmärtää, että kyseessä on konfirmatorinen analyysi, kyseessä on HARKing. Nämä raportoidut tulokset ovat paljon todennäköisemmin kohinaa tai sattumaa, kuin kuvastavat todellisia ilmiöitä. Tämän vuoksi näin muodostuneet hypoteesit tulisi aina vahvistaa toisessa tutkimuksessa, toisella aineistolla. Muuten riski johtopäätösten tekemiseen väärien positiivisten tulosten perusteella on aivan liian suuri.

Emme voi tietää, ellei tutkija itse tunnusta, mitkä tutkimukset on tahallaan tai tahattomasti p-hakkeroitu. Tarkka arvio ongelman laajuudesta on siis mahdotonta tehdä. Tilanne kuitenkin näyttää hyvin synkältä, jo pelkästään sen yksinkertaisen tosiasian vuoksi, että suurin osa julkaistuista tutkimustuloksista on tilastollisesti merkitseviä. Osa tästä selittyy tutkimusten julkaisuvinoumalla, ei-merkitsevän tuloksen tuottaneet tutkimukset jäävät pöytälaatikkoon. Julkaisuvinouma ei voi kuitenkaan täysin selittää tilannetta, ellei tutkijoilla ole lähes jumalallista kykyä tehdä lähes joka kerta oikeaan osuvia hypoteeseja. Suurin osa julkaistuista tutkimuksista on otoskooltaan niin pieniä, että tilastollisesti merkitsevän tuloksen saavuttaminen on ollut myös siitä syystä epätodennäköistä. Tämä tarkoittaisi, että pöytälaatikkoon jääneitä tutkimustuloksia olisi huomattavasti enemmän, kuin julkaistuja tuloksia. Onkin siis todennäköistä, että julkaisematta jätetyt tutkimukset ovat jääneet pöytälaatikkoon vasta, kun tulosten p-hakkerointi merkitseviksi ei ole onnistunut. P-hakkerointi on siis tavallaan analyysien julkaisuvinouma: vain tilastollisesti merkitsevän tuloksen tuottaneet analyysit julkaistaan.
John, Loewenstein ja Prelec kysyivät 2000 psykologian tutkijalta, olivatko he syyllistyneet kyseenalaisiin tutkimuskäytäntöihin. Yli puolet vastaajista oli esimerkiksi jättänyt raportoimatta osan mittauksista, kerännyt lisää aineistoa ei-merkitsevän tuloksen vuoksi ja väittänyt valheellisesti muodostaneensa hypoteesit ennen analyysejä. Useimmiten ei kuitenkaan ole kysymys tahallisesta huolimattomuudesta tai välinpitämättömyydestä, saati sitten petoksesta. Johnin ja kollegoiden kyselyssä suurin osa vastaajista oli kyseenalaisten käytäntöjen yleisyydestä huolimatta arvioinut oman tutkimuksensa rehelliseksi ja uskottavaksi. Hyvin harva oli koskaan väärentänyt aineistoa. Todennäköisin selitys p-hakkeroinnin yleisyydelle onkin tietämättömyys yhdistettynä julkaisupaineeseen. Esimerkiksi Naturessa 2016 julkaistussa kyselyssä arvioitiin olennaisen ongelman olevan ajanpuute. Jatkuva kilpailu rahoituksesta ja byrokratian lisääntyminen syövät suuren osan ajasta. Yli puolet kyselyyn vastanneista raportoi ongelmaksi paineen julkaista. Paine julkaista on kova, mutta samalla ei-merkitseviä tuloksia tai aiemmin tehtyjen tutkimusten toistoyrityksiä ei hyväksytä julkaistavasti yhtä helposti, kuin uusia merkitseviä tuloksia. Tutkijoiden on siis kovassa aikapaineessa, kuten sanotaan, julkaistava tai tuhouduttava. Samalla harmaita alueita koskevia hyviä käytäntöjä ei käydä läpi esimerkiksi tilastotieteen kursseilla tai oppikirjoissa, vaan niitä koskevat päätökset jäävät heikosti tilastotiedettä osaavien tutkijoiden omalle vastuulle.
Saatavilla olevat ohjeistukset saattavat olla jopa selkeästi harhaanjohtavia. Esimerkiksi psykologian tutkijoiden paljon käyttämä, Cambridge University Pressin julkaisema opas ”Guide to Publishing in Psychology Journals” sisältää Daryl Bemin kirjoittaman kappaleen, jossa ohjeistetaan tutkijoita kalastelemaan merkitseviä tuloksia tavalla, joka aivan päivänselvästi täyttää p-hakkeroinnin kriteerit. Bem myös käskee jättämään epäkiinnostavat tulokset julkaisematta, sillä ”tiede ei ole kiinnostunut siitä, miten hyvä olit arvaamaan tuloksesi etukäteen”. Kuulostiko nimi tutulta? Kyseessä on sama henkilö, jonka edellisessä postauksessa kerroin toistettavuuskriisin laukaisseessa tutkimuksessaan osoittaneen, että ihmisten on mahdollista nähdä tulevaisuuteen. Valitettavasti nämä Bemin suosittelemat ja hyvin yleisesti käytössä olevat tavat hyödyntää harmaita alueita johtavat samaan lopputulokseen, kuin aineiston väärentäminen: väärien positiivisten tulosten määrä kasvaa räjähdysmäisesti ja tuloksia ei siksi saada toistettua.

Se tunne, kun tajuat miten iso osa tutkimustuloksista on vääriä positiivisia
Tohtoriopiskelija Nick Brown tiivistää ongelman hauskasti uutis- ja huumorisivusto Buzzfeedin artikkelissa, vapaasti suomennettuna: ”Minulla on sellainen käsitys, että tilastotieteen hyödyntäminen oikein vaatii yhtä paljon erikoistumiskoulutusta kuin lentokoneen lentäminen. Suurimmalla osalla tutkijoista on tavallista ajokorttia vastaava osaaminen. Ja tutkijat sanovat että ’Minulla on ajokortti, miten vaikeaa voi muka olla lentää lentokoneella?’ ja lentävät koneen alas jyrkänteeltä.”
Väärät positiiviset tulokset johtavat resurssien hukkaamiseen hedelmättömään tutkimustyöhön. Tutkijat päätyvät arvioimaan aiemman tutkimuksen näytön tason virheellisesti ja käyttävät tätä tietoa uusien tutkimusten suunnittelun pohjana, jahdaten virheellisiä johtolankoja. Kun kirjallisuus on täynnä vääriä positiivisia tuloksia, emme pysty erottamaan, mitkä teoriat parhaiten selittävät todellisuuden luonnetta. Toisin kuin usein kuulee väitettävän, tiede ei ole tutkijoiden puuhastelua norsunluutornissa. Tieteellisten tutkimusten tulokset päätyvät oppikirjoihin yliopistolla, lastemme koulukirjoihin tosiasioina, ne muokkaavat käsityksiämme maailmasta. Tieteelliset tutkimustulokset vaikuttavat myös poliittisiin päätöksiin, niiden perusteella suunnitellaan lääketieteellisiä ja psykologisia hoitoja, johdetaan yrityksiä, suunnitellaan ravitsemussuosituksia ja tehdään myös henkilökohtaisia päätöksiä arjessa. Tiede ei ole yhdentekevää ja siihen tulisi suhtautua äärimmäisellä vakavuudella. Tutkijoiden tulisi myöntää tekemänsä virheet, myös silloin kun se sattuu.
Lopuksi todettakoon, että tämäkin postaus on vain lyhyt ja melko yksipuolinen keskustelunavaus. En pyri tarjoamaan mistään aiheesta lopullista totuutta, enkä pysty yksin käsittelemään edes toistettavuutta sen ansaitsemalla laajuudella. Aion seuraavissa osissa käydä läpi ainakin pienten (ja isojen) otoskokojen ongelmia, julkaisemista ja rahoitusta. Päätin käsitellä pyrkimykset tilanteen ratkaisemiseksi erillisessä postauksessa. Tämä saattaa siinä mielessä olla virhe, että yksittäisistä ongelmakeskeisimmistä postauksista ei tule esiin ollenkaan se, miten paljon hyvää työtä monet psykologian tutkijat ovat tehneet tilanteen korjaamiseksi. Huomionarvoista on myös se, että jos kiinnität huomion käyttämiini lähteisiin, kirjoittaja on yleensä psykologi ja tutkija. Kyseenalaisten tutkimuskäytäntöjen kritisointi ei ole tiedevastaisuutta, päinvastoin. Tieteen tulee olla julkista ja itseään korjaavaa, juuri se tekee siitä tiedettä.
Lähteet
Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452-454. https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970
Bem, D. J. (2000). Writing an Empirical Article. In R. J Sternberg, Guide to Publishing in Psychology Journals. Cambridge University Press. s. 3–16.
Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E. J., Berk, R., … & Cesarini, D. (2018). Redefine statistical significance. Nature Human Behaviour, 2(1), 6.
Chivers, T. (2017). A Mindset ”Revolution” Sweeping Britain’s Classrooms May Be Based On Shaky Science. BuzzFeed News. https://www.buzzfeed.com/tomchivers/what-is-your-mindset?utm_term=.ytVNe8Ox6#.lsQ91DP4w
Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45, 1304-1312. http://www.stats.org.uk/statistical-inference/Cohen1990.pdf
De Groot, A. D. (2014). The meaning of “significance” for different types of research [translated and annotated by Eric-Jan Wagenmakers, Denny Borsboom, Josine Verhagen, Rogier Kievit, Marjan Bakker, Angelique Cramer, Dora Matzke, Don Mellenbergh, and Han LJ van der Maas]. Acta psychologica, 148, 188-194. http://ejwagenmakers.com/inpress/DeGroot1956_TA.pdf
De Groot, A. D. (1969). Methodology: Foundations of inference and research in the behavioral sciences. MTH. https://www.sugarsync.com/pf/D6938836_95882415_7010252
Dienes, Z. (2008). Understanding psychology as a science: An introduction to scientific and statistical inference. Macmillan International Higher Education.
Johnson, V. E. (2013). Revised standards for statistical evidence. Proceedings of the National Academy of Sciences, 110(48), 19313-19317. http://www.pnas.org/content/pnas/early/2013/10/28/1313476110.full.pdf
John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 23(5), 524-532. http://journals.sagepub.com/doi/abs/10.1177/0956797611430953
Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124. http://robotics.cs.tamu.edu/RSS2015NegativeResults/pmed.0020124.pdf
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217. http://www2.psych.ubc.ca/~schaller/528Readings/Kerr1998.
Lakens, D., Adolfi, F. G., Albers, C. J., Anvari, F., Apps, M. A., Argamon, S. E., … & Buchanan, E. M. (2018). Justify your alpha. Nature Human Behaviour, 2(3), 168. https://www.nature.com/articles/s41562-018-0311-x
Munroe, R. Significant. xkcd. https://xkcd.com/882/
Nelson, L. D., Simmons, J., & Simonsohn, U. (2018). Psychology’s renaissance. Annual review of psychology, 69, 511-534. https://www.annualreviews.org/doi/abs/10.1146/annurev-psych-122216-011836
Neuroskeptic. (2012). The Nine Circles of Scientific Hell. Perspectives on Psychological Science. 7(6) 643–644 http://pages.ucsd.edu/~cmckenzie/Neuroskeptic2012Perspectives.pdf
Sagarin, B. J., Ambler, J. K., & Lee, E. M. (2014). An ethical approach to peeking at data. Perspectives on Psychological Science, 9, 293-304.
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22(11), 1359-1366. http://journals.sagepub.com/doi/abs/10.1177/0956797611417632
Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). p-curve and effect size: Correcting for publication bias using only significant results. Perspectives on Psychological Science, 9(6), 666-681. http://journals.sagepub.com/doi/full/10.1177/1745691614553988
Silberzahn, R., Uhlmann, E. L., Martin, D., Anselmi, P., Aust, F., Awtrey, E. C., … & Carlsson, R. (2018). Many analysts, one dataset: Making transparent how variations in analytical choices affect results. Advances in Methods and Practices in Psychological Science. http://journals.sagepub.com/doi/10.1177/2515245917747646
Spector, P. E., & Brannick, M. T. (2011). Methodological urban legends: The misuse of statistical control variables. Organizational Research Methods, 14(2), 287-305. http://journals.sagepub.com/doi/abs/10.1177/1094428110369842?journalCode=orma&