Sanastotesti: menetelmä

Mitä mitataan

Reseptiivisen eli tunnistamiseen perustuvan sanaston koko lemmamääränä, itsearviona, jota korjataan tekosanoihin kohdistuvien väärien hälytysten perusteella. Testi ei mittaa määritelmien tuntemista, tuottavaa sanastoa eikä kielitaitoa.

Menettely

Englanti (menetelmä en-adaptive-1, lista en-1): vaiheessa 1 esitetään 40 kohdan ruudukko: 5 satunnaista sanaa kustakin 7 frekvenssiluokasta sekä 5 tekosanaa satunnaisessa järjestyksessä. Pelaaja merkitsee tuntemansa sanat (”osaisin selittää ainakin yhden merkityksen”). Vaiheessa 2 esitetään 60 uutta kohtaa: 4 uutta sanaa kustakin luokasta, 25 lisäsanaa sen luokan ympäriltä, jossa korjattu tunnettujen osuus oli vaiheessa 1 lähimpänä 50%:a (paino puolittuu jokaisen luokan myötä etäännyttäessä) sekä 7 uutta tekosanaa. Yksikään sana ei toistu. Aikarajaa ei ole, ja merkintöjä voi muuttaa ennen kummankin vaiheen lähettämistä. Tuloksen jälkeen voi vastata vapaaehtoisiin kysymyksiin ikäryhmästä, äidinkielisyydestä tai kielen opiskelusta, opiskeluvuosista ja lukemistiheydestä. Saksa, espanja, ranska, italia, puola, portugali ja venäjä (listat *-1): yksi sana kerrallaan; kustakin 6 frekvenssiluokasta esitetään 10 satunnaista sanaa (60 oikeaa sanaa) sekä 30 tekosanaa satunnaisessa järjestyksessä (90 kohtaa). Ensin annetaan palautetta 2 oikeasta harjoitussanasta ja 2 harjoitustekosanasta (harjoittelun voi ohittaa). Aikarajaa ei ole, eikä välilehdeltä poistuminen päätä suoritusta.

Parametrit

Pisteytys

Kullekin frekvenssiluokalle b: h = niiden luokan oikeiden sanojen osuus, jotka merkitään tunnetuiksi (englannissa vain step-2-vaiheen sanat, jotta mukautuva valinta ei vinouta arviota); f = tunnetuiksi merkittyjen tekosanojen osuus (englannissa kaikki 12 sanaa molemmista vaiheista). Tunnettujen osuus p = (h − f) / (1 − f), rajattuna välille 0–1 (arvo on 0, jos f = 1). Arvio = luokkien kokojen ja p-arvojen tulojen summa, pyöristettynä lähimpään 100:aan ja rajattuna sanalistan kokoon; suurempi tulos tarkoittaa laajempaa sanastoa. Englannin vaihteluväli: simuloitujen 4,000 arvonnan keskimmäiset 90% (Jeffreysin beetajakaumien posteriorit kunkin luokan osumatodennäköisyydelle, yksi yhteinen beetajakaumasta arvottu väärien hälytysten todennäköisyys sekä beetajakaumaan perustuva epävarmuus kunkin luokan koossa alkuperäisen 70 ehdokkaan arvioinnin perusteella); väliä laajennetaan tarvittaessa niin, että arvio sisältyy siihen. Jos f = 1, vaihteluväli kattaa koko sanalistan. Muiden kielten vaihteluväli: luokkien yli summattu 1.645 binomijakauman keskivirhettä kumpaankin suuntaan. Muista kielistä lasketaan lisäksi LexTALE-tyylinen tarkkuus: oikeiksi hyväksyttyjen sanojen prosenttiosuuden ja hylättyjen tekosanojen prosenttiosuuden keskiarvo. Englannin persentiilit: niiden kelpoisten pelaajien osuus, joiden tulos on tarkasteltavaa arviota pienempi (nykyinen menetelmä ja sanalista, luotettava tulos, ei todennäköisesti automaattinen suoritus; pelaajalta huomioidaan ensimmäinen kelpoinen yritys). Persentiili näytetään vain ryhmille, joissa on vähintään 100 pelaajaa; muuten näytetään taustatietona julkaistuja tutkimustuloksia.

Kelvollisen koesuorituksen säännöt

Palvelin muodostaa kohdat uudelleen suorituksen satunnaisavaimen perusteella (tieto siitä, mitkä kohdat ovat oikeita sanoja, ei päädy sivulle harjoituksia lukuun ottamatta). Jokaiseen kohtaan on vastattava; englannin kaksivaiheisessa muodossa tarvitaan täsmälleen 40 ja 60 vastausta, eikä sitä voi yhdistää yksivaiheiseen muotoon. Suoritukset, joissa liian moni tekosana on merkitty tunnetuksi, merkitään epävarmoiksi, eikä niille lasketa persentiiliä. Palvelin muodostaa jokaisen suorituksen uudelleen raak lokista (ja suorituksen satunnaisavaimen perusteella, jos sellainen on) ja laskee tuloksen itse; sivun ilmoitukset oikeista tai vääristä vastauksista sivuutetaan. Pelin sääntöjä rikkova loki hylätään, eikä mitään tallenneta. Tallennettuihin suorituksiin voidaan liittää laatumerkintöjä, joita ei näytetä eivätkä ne estä tuloksen saamista: vähintään 10 suoritusta yhdestä IP-osoitteesta, puuttuva kävijätunniste, välilehden vaihtaminen sekä automaatioon viittaavat signaalit (automatisoitu selain, mahdoton nopeus, syötetapahtumien puuttuminen, koneen tasaisen säännöllinen ajoitus).

Erot klassiseen tehtävään

Tekosanoja käyttävät kyllä/ei-testit juontavat juurensa Mearan ja Buxtonin tutkimukseen (1987). LexTALE (Lemhöfer & Broersma 2012) on kiinteä 60 kohdan testi, jonka prosenttipistemäärä on validoitu. Brysbaert ym. (2016) arvioivat sanaston kokoa erittäin laajasta verkossa kerätystä sanantuntemusaineistosta käyttäen erilaista sanakirjaa ja väljempiä kriteerejä sanan tuntemiselle. Tämä arviointimenetelmä, sen sanalistat ja kaksivaiheinen rakenne ovat uusia, eikä niitä ole kalibroitu riippumattomasti. Mittayksikkönä ovat erilliset kirjoitetut lemmat, eivät sanaperheet kuten Nationin Vocabulary Size Testissä.

Rajoitukset

Itsearvio: ihmiset eroavat siinä, kuinka herkästi he merkitsevät sanan tuntemakseen, ja tekosanat korjaavat tätä vain osittain. Luokkien koot perustuvat arvioituihin otoksiin, eivät koko sanakirjan laskentaan. Sanalistat ja luokkien koot vaihtelevat kielittäin, joten eri kielten arvioita ei voi verrata keskenään. Erityisosaaminen ja tutut sananosat vaikuttavat tulokseen. Aiemmalla testikerralla muistetuilla sanoilla on vaikutusta myöhempiin tuloksiin. Testi ei mittaa älykkyyttä, sujuvuutta eikä terveyttä. Vertailuryhmän muodostavat sivuston kävijät, eivät väestöä edustavat normit.

Kielet ja tarkistuksen tila

Englanti (kaksivaiheinen) sekä saksa, espanja, ranska, italia, puola, portugali ja venäjä (yksivaiheisia); sivuston muilla kielillä näytetään englanninkielinen testi. Oikeat sanat ovat Wiktionaryn lemmoja (kaikki.org-palvelun kautta), jotka on järjestetty sanan yleisyyden mukaan (wordfreq 3.1.1); kunkin luokan otos on tarkistettu käsin. Sanalistat julkaistaan lisenssillä CC BY-SA 4.0 lisenssiehtojen mukaisesti. Kunkin listan tekosanat on muodostettu kyseisen kielen kirjainyhdistelmien perusteella ja tarkistettu käsin.