Keskeinen tutkimusnäyttö ja luvut
| Meta-analyysin vertailu | Standardoitu keskimääräinen muutos | 95 %:n luottamusväli |
|---|---|---|
| Ensimmäinen ja toinen testikerta | 0.327 | 0.278–0.375 |
| Ensimmäinen ja kolmas testikerta | 0.495 | 0.406–0.585 |
| Ensimmäinen ja neljäs testikerta | 0.516 | 0.401–0.631 |
Nämä ovat taulukon 2 tuloksia. Ensimmäiseen vertailuun sisältyi 122 tutkimusta ja 153,185 osallistujaa; myöhemmissä vertailuissa aineistot olivat pienempiä. Tuloksia ei pidä tulkita yhden osallistujajoukon oppimiskäyräksi eikä ekstrapoloida rajattomasti. Tulos on eri kognitiivisten testien yli laskettu standardoitu keskimääräinen muutos, ei suora ennuste seuraavan ÄO-testituloksesi muutoksesta. Scharfen et al., 2018
Mikä voi parantua uusintatestissä?
Ohjeiden, tehtävämuotojen, strategioiden ja testaustilanteen tuttuus voi vaikuttaa suoriutumiseen. Uusintatestejä käsittelevässä katsauksessa tarkastellaan vaikutusta muokkaavia tekijöitä, sillä tulosparannuksen suuruus riippuu menettelystä ja testikertojen välisestä ajasta. Parempi toinen tulos ei kerro, mikä muuttui, eikä todista älykkyyden yleistä kasvua. Scharfen et al., 2018
Matriisitehtävät havainnollistavat asiaa: niiden ratkaiseminen edellyttää sääntöjen löytämistä ja yhdistämistä. Tehtävätyypin tunteminen tai tehtävän muistaminen voi muuttaa sitä, mitä myöhemmällä testikerralla mitataan. Carpenterin ja työtovereiden prosessianalyysi käsittelee näitä päättelyn vaatimuksia, kun taas Ravenin katsaus korostaa asianmukaisten normien merkitystä. Carpenter et al., 1990 Raven, 2000
Voinko vähentää tuloksesta kiinteän harjoitteluvaikutuksen?
Yhdistetystä vaikutuksesta ei voi johtaa kaikille pätevää henkilökohtaista korjausta. Ryhmän keskiarvon soveltaminen yksittäiseen ihmiseen sivuuttaa testien, altistumisen ja uusintatestin olosuhteiden vaihtelun. Testien käyttöä koskevat ohjeet edellyttävät tulkintaa, joka sopii käytettyyn testiin ja sen käyttötarkoitukseen; itse keksitty kiinteä vähennys ei osoita tuloksen pätevyyttä. International Test Commission, 2001
Mihin se vaikuttaa?
Miksi vaikutuksen muuntaminen ÄO-pisteiksi on riskialtista?
Standardoidun vaikutuksen kertominen 15:llä voi tuntua kätevältä, mutta katsauksessa yhdistetään erilaisia kognitiivisia tuloksia ja käytetään omaa standardointia. Yleinen ÄO:n keskiarvoon 100 ja keskihajontaan 15 perustuva käytäntö ei tarkoita, että jokainen tutkimusvaikutus vastaisi yhtä suurta henkilökohtaista ÄO-pistemuutosta. Säilytä vaikutus alkuperäisessä mittayksikössään sen sijaan, että keksisit tarkan tulosparannuksen. Scharfen et al., 2018 Neisser et al., 1996
Viralliseen tulosraporttiin sisältyy myös mittausepävarmuus. Kahden ilmoitetun tuloksen eroa pitää tulkita testin sääntöjen, mittausvälin ja luottamustietojen perusteella, ei vain vertailemalla niiden nimikkeitä. Pearson, 2020
Ratkaiseeko ongelman se, että tulos on vakaa?
Luotettavuus ja harjoitteluvaikutus ovat eri asioita. Tehtävässä voi uusintatestissä näkyä johdonmukainen tulosmuutos, vaikka henkilöiden keskinäinen järjestys säilyisi, tai yksilöiden tuloserot voivat olla epävarmoja, vaikka keskimääräinen vaikutus olisi vakaa. Luotettavuuden paradoksia käsittelevä tutkimus muistuttaa, että nämä mittausominaisuudet on osoitettava erikseen. Hedge et al., 2017
Laajempi kognitiivinen tutkimus erottaa myös suoriutumisen eri osatekijöitä. Tuttu matriisitehtäväsarja ei mittaa ajattelun kaikkia puolia, joten yhden tehtävän parantuminen ei osoita, että muisti, kielelliset kyvyt ja päättely olisivat kehittyneet yhtä paljon. Hampshire et al., 2012
Miten edistymistä kannattaa seurata?
Kirjaa aiemmat testikerrat, testiversio ja testien välinen aika. Jos arvioinnilla on merkittäviä seurauksia, noudata sen järjestäjän uusintatestausta koskevia sääntöjä. Vapaamuotoisissa peleissä kuvaile parantumista suoriutumisen parantumisena kyseisissä tehtävissä ja pidä toistetut tai ulkoa opitut tehtävät erillään ennestään tuntemattomista. Näin saat hyödyn harjoittelusta liioittelematta sitä, mitä tulos osoittaa. International Test Commission, 2001 Scharfen et al., 2018
ÄO suhteutetaan edelleen ikäryhmään, jonka keskiarvo on 100; uusintatestaus ei muuta tätä käytäntöä. Olennaista on, kuvaako uusi tulos pätevästi tarkoitettua kykyä testiä käytettäessä vallinneissa olosuhteissa. Neisser et al., 1996 Pearson, 2020
Kokeile aiheeseen liittyvää ilmaista testiä
ÄO-tyylinen testi
Kokeile ÄO-tyylisiä tehtäviä, jos haluat tutustua niihin, ja kirjaa aiemmat yrityksesi tuloksia vertaillessasi. Toistuva altistuminen on otettava huomioon tulkinnassa. Pelin parempi tulos ei osoita, että yleinen älykkyytesi olisi kasvanut.
Yleisiä kysymyksiä
Kuinka monta ÄO-pistettä saan lisää?
Yhdistetty standardoitu muutos ei kerro, kuinka monta ÄO-pistettä yksittäinen henkilö varmasti saa lisää. Testit ja uusintatestien olosuhteet vaihtelevat. Scharfen et al., 2018
Jatkuuko tuloksen paraneminen ikuisesti?
Myöhempien testikertojen arviot perustuvat pienempiin aineistoihin, eivätkä ne oikeuta ekstrapoloimaan tuloksia loputtomasti. Scharfen et al., 2018
Mitätöikö vastausten muistaminen vertailun?
Se muuttaa sitä, mitä myöhempi tulos kertoo ennestään tuntemattomien tehtävien ratkaisemisesta. Tulkinnassa on otettava huomioon aiempi altistuminen ja testin tarkoitettu käyttötapa. International Test Commission, 2001
Lähteet
- Neisser et al. (1996). Älykkyys: tunnettua ja tuntematonta..
- Pearson (2020). WISC-V-tulkintaraportti: tietoa pisteistä.
- International Test Commission (2001). Kansainväliset testien käyttöä koskevat ohjeet.
- Raven (2000). Ravenin progressiiviset matriisit: muutokset ja pysyvyys eri kulttuureissa ja aikakausina.
- Carpenter et al. (1990). Mitä yksi älykkyystesti mittaa: teoreettinen kuvaus Ravenin progressiivisten matriisien testin prosessoinnista..
- Hampshire et al. (2012). Ihmisen älykkyyden osatekijöiden erittely.
- Scharfen et al. (2018). Kognitiivisten kykytestien uusintavaikutukset: meta-analyysi.
- Hedge et al. (2017). Luotettavuuden paradoksi: miksi vakaat kognitiiviset tehtävät eivät tuota luotettavia yksilöiden välisiä eroja.