Keskeinen tutkimusnäyttö ja luvut
| Esimerkki | Määrä | Mitä se osoittaa? |
|---|---|---|
| Woodsin yksinkertaisen reaktion menetelmä | 20 harjoituskoetta, 120 testikoetta | Yksi julkaistu menetelmä, ei yleispätevä vähimmäismäärä |
| Havainnollistava riippumattomien kokeiden laskelma | 4 kertaa enemmän kokeita | Keskivirhe puolittuu, jos vaihtelu pysyy samana |
| Historiallinen luotettavuustutkimus | 18 yksinkertaisen reaktion koetta, 30 kahden vaihtoehdon koetta | Riittävä kyseisen tutkimuksen erityisissä olosuhteissa |
Historialliset koemäärät ovat peräisin Hamsherin ja Bentonin tutkimuksesta, jonka tiivistelmä rajaa johtopäätöksen nimenomaisesti tutkimusolosuhteisiin. Niitä ei pidä käyttää nykyisessä selainpelissä sertifiointisääntönä. Luotettavuus koskee määritellyn tuloksen toistettavuutta; tilastollinen voima taas tarkoittaa todennäköisyyttä havaita määritelty vaikutus. Ne liittyvät toisiinsa, mutta ovat eri kysymyksiä. de S. Hamsher ym., 1977 Miller, 2023
Miksi saman tehtävän toistaminen auttaa?
Jos kokeet olisivat toisistaan riippumattomia havaintoja eikä vaihtelu muuttuisi, niiden keskiarvon keskivirhe olisi kokeiden keskihajonta jaettuna kokeiden määrän neliöjuurella. Nelinkertainen määrä seuraa tästä kaavasta. Todellisissa kokeissa oletukset voivat rikkoutua, koska ihmiset oppivat, väsyvät tai muuttavat strategiaansa. Koemäärälaskelma on siis malli, ei takuu henkilökohtaisen tuloksen vakaudesta. Miller, 2023
Uudempi koemääräanalyysi osoittaa myös, että vaikutukset voivat itsessään muuttua harjoittelun myötä. Lisäkokeet eivät vain tuota lisää kopioita muuttumattomasta ensimmäisestä kokeesta. Tutkimusasetelmassa on valittava tulosmuuttuja ja huomioitava, miten tehtävä käyttäytyy koko kokeen aikana. Miller, 2023
Millaista luotettavuutta tavoittelet?
Tulosten johdonmukaisuus yhden suorituskerran aikana eroaa johdonmukaisuudesta eri päivien välillä tai ihmisten keskinäisten sijoitusten pysyvyydestä. Luotettavuusparadoksia käsittelevä tutkimuskirjallisuus osoittaa, että tehtävissä voi näkyä vahvoja ryhmätason vaikutuksia, vaikka yksilöiden väliset erot olisivat vähemmän luotettavia. Suuri Stroop- tai reaktiovaikutuksen keskiarvo ei automaattisesti tarkoita, että lyhyt tulos sopisi henkilön prosenttipisteen määrittämiseen. Hedge ym., 2017
Mihin se vaikuttaa?
Keskiarvo, mediaani ja minimi vastaavat eri kysymyksiin
Nopein reaktio kuvaa suoriutumista eri tavoin kuin keskiarvo. Siihen vaikuttaa erityisen paljon se, kuinka monta yritystä saat. Hitaat poikkeavat tulokset voivat nostaa keskiarvoa, kun taas niiden poistaminen ilman ennalta määriteltyä sääntöä voi vääristää tulosta. Reaktioaikojen poikkeavia arvoja koskeva tutkimus on yksi syy pitää pisteytyssäännöt samoina ennen suorituskertojen vertailua. Ratcliff, 1993
Unen tutkimus havainnollistaa, miksi tuloksen valinnalla on väliä: psykomotorisen valppauden tutkijat erottelevat hitaat reaktiot ja tarkkaavaisuuden herpaantumiset keskeisistä reaktioaikayhteenvedoista. Lyhyen pelin paras tulos useista yrityksistä ei välttämättä kuvaa univajeelle altistumista samalla tavoin kuin pitkäkestoinen valppaustehtävä. Basner ym., 2011
Mikä vaikuttaa arvioon tarvittavasta koemäärästä?
Laitteen ajoituksen vaihtelu lisää hajontaa, ja laitteen kiinteä viive aiheuttaa harhaa. Lisäkokeet voivat auttaa ensin mainittuun, mutta niillä ei voi kalibroida jälkimmäistä pois. Sekä ajoituksen arviointia että laboratoriokalibrointia koskevat tulokset tukevat näiden virhelähteiden erottamista. Anwyl-Irvine ym., 2020 Bridges ym., 2020 Woods ym., 2015
Epämuodolliseen seurantaan kannattaa valita sopivan kevyt menetelmä, käyttää joka kerta samaa yritysten määrää ja kirjata kaikki suoritetut kerrat pelkkien ennätysten sijaan. Käytä tätä vertailutapana, älä vahvistettuna suosituksena tietystä vähimmäismäärästä. Jos tavoitteena on tieteellinen prosenttipiste, tehtävä tarvitsee riittävän koemäärän lisäksi edustavan normiaineiston ja mitatun luotettavuuden. Hedge ym., 2017 Miller, 2023
Ikä, valmistautuminen ja uni voivat myös muuttaa suoriutumista yhden tai useamman suorituskerran aikana. Kun olosuhteet pysyvät kohtuullisen samanlaisina, vertailua on helpompi tulkita, mutta mikään standardointi ei tee selainpelin tuloksesta kliinistä arviota. Woods ym., 2015 Basner ym., 2011
Kokeile aiheeseen liittyvää ilmaista testiä
Reaktioajan testi
Kokeile reaktioajan testiä joka kerta samoilla ohjeilla ja samalla vastaustavalla. Lyhyt tulos auttaa tutustumaan tehtävään. Tutkimuksessa käytetty 120 kokeen menetelmä antaa mittaamiselle taustatietoa; se ei ole ohje pelata tätä peliä, kunnes saavutat haluamasi tuloksen.
Yleisiä kysymyksiä
Riittääkö viisi yritystä?
Niillä voi tutustua tehtävään, mutta niiden luotettavuus tietyssä henkilökohtaisessa vertailussa on testattava. Kaikkiin reaktioaikatesteihin soveltuvaa viiden yrityksen sääntöä ei ole. Hedge ym., 2017
Pitäisikö käyttää nopeinta tulostani?
Käytä sitä vain, jos päätit seurata juuri tätä tulosta. Yritysten määrän kasvattaminen lisää mahdollisuutta saada poikkeuksellisen nopea reaktio. Ratcliff, 1993
Tarkoittaako suurempi aineisto aina parempaa testiä?
Ei automaattisesti. Koemäärällä, osallistujamäärällä, harjoittelulla, pisteytyksellä ja tutkittavalla vaikutuksella on kaikilla merkitystä. Miller, 2023
Lähteet
- Woods ym. (2015). Yksinkertaisen reaktioajan viiveeseen vaikuttavat tekijät.
- Miller (2023). Kuinka monta osallistujaa? Kuinka monta koetta? Reaktioaikatutkimusten tilastollisen voiman maksimointi.
- de S. Hamsher ym. (1977). Reaktioajan määritysten luotettavuus.
- Hedge ym. (2017). Luotettavuusparadoksi: miksi vahvat kognitiiviset tehtävät eivät tuota luotettavia yksilöiden välisiä eroja.
- Ratcliff (1993). Menetelmiä reaktioaikojen poikkeavien arvojen käsittelyyn..
- Basner ym. (2011). Psykomotorisen valppaustestin (PVT) herkkyyden maksimointi univajeelle.
- Anwyl-Irvine ym. (2020). Verkkokokeiden alustojen, selainten ja laitteiden realistinen tarkkuus.
- Bridges ym. (2020). Ajoituksen laaja vertailututkimus: laboratoriossa ja verkossa toimivien koegeneraattorien vertailu.