Ordforrådstest: metode

Hva den måler

Reseptivt ordforråd (gjenkjenning) målt i lemmaer, basert på selvrapportering korrigert for falske alarmer på pseudord. Måler ikke kjennskap til definisjoner, ordproduksjon eller språkferdighet.

Fremgangsmåte

Engelsk (metode en-adaptive-1, liste en-1): Trinn 1 er et rutenett med 40 elementer: 5 tilfeldige ord fra hvert av 7 frekvensbånd og 5 pseudord, blandet. Spilleren krysser av ordene hen kjenner («kan forklare minst én betydning»). Trinn 2 er et rutenett med 60 nye elementer: 4 nye ord per bånd, 25 ekstra ord plassert rundt båndet der den korrigerte andelen kjente ord i trinn 1 er nærmest 50%, og 7 nye pseudord. Ingen ord gjentas. Ingen tidsbegrensning; avkryssinger kan endres før hvert trinn sendes inn. Valgfrie spørsmål etter resultatet: aldersgruppe, morsmålsbruker eller språklærer, antall år med språkopplæring, hvor ofte du leser. Tysk, spansk, fransk, italiensk, polsk, portugisisk og russisk (lister *-1): ett ord om gangen, 10 tilfeldige ord fra hvert av 6 frekvensbånd (60 ekte ord) pluss 30 pseudord, blandet (90 elementer); spilleren svarer «Jeg kjenner det» eller «Oppdiktet». Først kommer 2 ekte øvingsord og 2 pseudord med tilbakemelding (kan hoppes over). Ingen tidsbegrensning; det avslutter ikke forsøket å gå ut av fanen.

Parametere

Skåring

For hvert bånd b: h = andelen av båndets ekte ord som er markert som kjente (engelsk: bare ord fra step-2, slik at det adaptive valget ikke skjevfordeler anslaget); f = andelen pseudord som er markert som kjente (engelsk: alle 12 fra begge trinn). Andel kjente ord p = (h − f) / (1 − f), begrenset til intervallet 0 til 1 (0 hvis f = 1). Anslag = summen av båndstørrelse x p for alle bånd, avrundet til nærmeste 100 og begrenset til listestørrelsen; høyere verdi betyr større ordforråd. Intervall, engelsk: de sentrale 90% av 4,000 simulerte trekninger (Jeffreys Beta-fordelinger for treffraten i hvert bånd, én felles Beta-trekning for falsk alarm-rate og Beta-usikkerhet for størrelsen på hvert bånd basert på den opprinnelige gjennomgangen av 70 kandidater), utvidet til å omfatte anslaget; ved f = 1 er intervallet hele listen. Intervall, andre språk: pluss eller minus 1.645 binomiske standardfeil summert over båndene. Andre språk får også en nøyaktighet etter LexTALE-modellen = gjennomsnittet av prosentandelen ekte ord som godtas og prosentandelen pseudord som avvises. Engelske persentiler: andelen kvalifiserte spillere som ligger strengt under anslaget (gjeldende metode og liste, pålitelige resultater, sannsynligvis ikke automatiserte, første kvalifiserte forsøk per spiller); vises bare for grupper på minst 100. Ellers vises publiserte forskningsresultater som sammenligningsgrunnlag.

Regler for gyldige forsøk

Serveren bygger opp elementene på nytt fra frøet til forsøket (hvilke elementer som er ekte, vises aldri på siden, bortsett fra i øvingen). Alle elementer må besvares; det engelske formatet med to trinn krever nøyaktig 40 og 60 svar og kan ikke blandes med formatet med ett trinn. Resultater der for mange pseudord er markert som kjente, merkes som usikre og får ingen persentil. Serveren bygger opp hvert forsøk på nytt fra råloggen (og fra forsøksfrøet når det finnes) og beregner skåren selv; alt siden sier om riktige eller gale svar, ignoreres. En logg som bryter spillets regler, avvises, og ingenting lagres. Lagrede forsøk kan ha kvalitetsflagg som aldri vises og aldri hindrer et resultat: 10 eller flere forsøk fra én IP-adresse, manglende besøks-ID, fanebytter og automatiseringssignaler (automatisert nettleser, umulig hastighet, ingen inndatahendelser, maskinmessig regelmessig timing).

Forskjeller fra den klassiske oppgaven

Ja/nei-tester med pseudord går tilbake til Meara og Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) er en fast test med 60 elementer og en validert prosentbasert skår; Brysbaert et al. (2016) anslo ordforrådets størrelse ut fra et svært stort nettbasert datasett om ordkunnskap, med en annen ordbok og en mindre streng forståelse av hva det vil si å kunne et ord. Denne beregningsmetoden, listene og utformingen i to trinn er nye og er ikke kalibrert uavhengig. Måleenheten er ulike skrevne lemmaer, ikke ordfamilier som i Nations Vocabulary Size Test.

Begrensninger

Selvrapportering: Folk varierer i hvor lett de markerer et ord som kjent, og pseudord korrigerer bare delvis for dette. Størrelsen på frekvensbåndene bygger på gjennomgåtte utvalg, ikke opptelling i en fullstendig ordbok. Listene og størrelsen på frekvensbåndene varierer mellom språk, så anslagene kan ikke sammenlignes på tvers av språk. Særinteresser og kjente orddelelementer påvirker resultatet. Det påvirker senere resultater å huske ord fra et tidligere forsøk. Testen måler ikke intelligens, språkflyt eller helse. Sammenligningsgrunnlaget er besøkende på nettstedet, ikke normer for befolkningen.

Språk og gjennomgangsstatus

Engelsk (to trinn) samt tysk, spansk, fransk, italiensk, polsk, portugisisk og russisk (ett trinn); på nettstedets øvrige språk vises den engelske testen. Ekte ord: lemmaer fra Wiktionary (via kaikki.org), rangert etter ordfrekvens (wordfreq 3.1.1), med et manuelt gjennomgått utvalg fra hvert bånd; deles under CC BY-SA 4.0 slik lisensen krever. Pseudord ble laget for hver liste ut fra bokstavmønstrene i språket og gjennomgått manuelt.