Ordförrådstest: metod

Vad det mäter

Receptivt ordförråd (igenkänning) mätt i lemman, enligt självrapport korrigerad för falska alarm på pseudord. Mäter inte kunskap om definitioner, ordproduktion eller språkfärdighet.

Genomförande

Engelska (metod en-adaptive-1, lista en-1): steg 1 är ett rutnät med 40 objekt: 5 slumpmässiga ord från vart och ett av 7 frekvensband samt 5 pseudord, blandade; spelaren kryssar i de ord hen känner till ('kan förklara minst en betydelse'). Steg 2 är ett rutnät med 60 nya objekt: 4 nya ord per band, 25 extra ord kring det band där andelen korrigerade kända ord i steg 1 ligger närmast 50% (vikterna halveras för varje band längre bort) och 7 nya pseudord. Inga ord upprepas. Ingen tidsgräns; kryss kan ändras innan varje steg skickas in. Valfria frågor efter resultatet: åldersgrupp, modersmålstalare eller språkinlärare, antal års studier, hur ofta personen läser. Tyska, spanska, franska, italienska, polska, portugisiska och ryska (listor *-1): ett ord i taget, 10 slumpmässiga ord från vart och ett av 6 frekvensband (60 riktiga ord) samt 30 pseudord, blandade (90 objekt); spelaren svarar 'Jag känner till ordet' eller 'Påhittat'. Först visas 2 riktiga övningsord och 2 pseudord med återkoppling (kan hoppas över). Ingen tidsgräns; om fliken lämnas avslutas inte testomgången.

Parametrar

Poängsättning

För varje band b: h = andelen av bandets riktiga ord som markerats som kända (engelska: endast ord från step-2, så det adaptiva urvalet snedvrider inte uppskattningen); f = andelen pseudord som markerats som kända (engelska: alla 12 från båda stegen). Andel kända ord p = (h − f) / (1 − f), begränsad till intervallet 0 till 1 (0 om f = 1). Uppskattning = summan av bandstorlek x p för alla band, avrundad till 100 och begränsad till listans storlek; ett högre värde betyder ett större ordförråd. Intervall, engelska: centrala 90% av 4,000 simulerade dragningar (Jeffreys Beta-posteriorer för varje bands träffandel, ett gemensamt Beta-drag för andelen falska alarm och Beta-osäkerhet för varje bandstorlek utifrån den ursprungliga granskningen av 70 kandidater), utvidgat så att uppskattningen ingår; vid f = 1 omfattar intervallet hela listan. Intervall, övriga språk: plus eller minus 1.645 binomiala standardfel summerade över banden. Övriga språk får också en träffsäkerhet i LexTALE-stil = medelvärdet av procentandelen accepterade riktiga ord och procentandelen avvisade pseudord. Engelska percentiler: andelen behöriga spelare vars resultat ligger strikt under uppskattningen (aktuell metod och lista, tillförlitliga resultat, inte sannolikt automatiserade, första behöriga försöket per spelare); visas endast för grupper om minst 100 personer. Annars visas publicerade forskningsresultat som jämförelse.

Regler för giltiga försök

Servern återskapar objekten från testomgångens startvärde (vilka objekt som är riktiga når aldrig sidan, utom i övningen). Alla objekt måste besvaras; det engelska formatet i två steg kräver exakt 40 respektive 60 svar och kan inte blandas med formatet i ett steg. Resultat där för många pseudord markerats som kända flaggas som osäkra och får ingen percentil. Servern återskapar varje testomgång från råloggen (och testomgångens startvärde, om ett sådant finns) och räknar själv ut poängen; uppgifter på sidan om rätt eller fel ignoreras. En logg som bryter mot spelets regler avvisas, och inget sparas. Sparade testomgångar kan ha kvalitetsflaggor som aldrig visas och inte hindrar ett resultat: 10 eller fler testomgångar från en IP-adress, saknat besökar-id, flikbyten och automatiseringssignaler (automatiserad webbläsare, omöjlig hastighet, inga inmatningshändelser, maskinmässigt regelbunden tidsmätning).

Skillnader från den klassiska uppgiften

Ja/nej-test med pseudord går tillbaka till Meara och Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) är ett fast test med 60 objekt och en validerad procentpoäng; Brysmaerts et al. (2016) uppskattade ordförrådets storlek utifrån en mycket stor datamängd om ordkunskap på nätet, med en annan ordbok och en friare definition av att kunna ett ord. Den här uppskattningsmetoden, dess listor och dess utformning i två steg är nya och har inte kalibrerats oberoende. Måttenheten är enskilda skrivna lemman, inte ordfamiljer som i Nation's Vocabulary Size Test.

Begränsningar

Självrapport: människor skiljer sig åt i hur lätt de markerar ett ord som känt, och pseudord korrigerar bara delvis för detta. Bandstorlekarna bygger på granskade urval, inte en fullständig räkning i en ordbok. Listor och bandstorlekar skiljer sig mellan språken, så uppskattningar kan inte jämföras mellan språk. Specialintressen och bekanta orddelar påverkar resultatet. Att komma ihåg ord från en tidigare testomgång påverkar senare resultat. Testet mäter inte intelligens, språkflyt eller hälsa. Jämförelsegruppen består av webbplatsbesökare, inte befolkningsnormer.

Språk och granskningsstatus

Engelska (två steg) samt tyska, spanska, franska, italienska, polska, portugisiska och ryska (ett steg); på webbplatsens övriga språk visas det engelska testet. Riktiga ord: Wiktionary-lemman (via kaikki.org) rangordnade efter ordfrekvens (wordfreq 3.1.1), med ett handgranskat urval per band; delas under CC BY-SA 4.0 enligt licenskraven. Pseudord skapades för varje lista utifrån dess bokstavsmönster och granskades manuellt.