Ordforrådstest: metode

Hvad den måler

Receptivt (genkendt) ordforråd målt i lemmaer, baseret på selvrapportering korrigeret for falske alarmer på pseudord. Måler ikke kendskab til definitioner, produktion eller sprogfærdighed.

Fremgangsmåde

Engelsk (metode en-adaptive-1, liste en-1): Trin 1 er et felt med 40 elementer: 5 tilfældige ord fra hvert af 7 frekvensbånd samt 5 pseudord, blandet. Spilleren sætter kryds ved de ord, vedkommende kender ('kan forklare mindst én betydning'). Trin 2 er et felt med 60 nye elementer: 4 nye ord pr. bånd, 25 ekstra ord placeret omkring det bånd, hvor den korrigerede andel kendte ord i trin 1 er tættest på 50% (vægtene halveres for hvert bånds afstand), samt 7 nye pseudord. Ingen ord gentages. Ingen tidsgrænse; krydser kan ændres, før hvert trin indsendes. Valgfrie spørgsmål efter resultatet: aldersgruppe, modersmålstalende eller sprogindlærer, antal års læring, hvor ofte man læser. Tysk, spansk, fransk, italiensk, polsk, portugisisk og russisk (lister *-1): ét ord ad gangen, 10 tilfældige ord fra hvert af 6 frekvensbånd (60 rigtige ord) samt 30 pseudord, blandet (90 elementer); spilleren svarer 'Jeg kender det' eller 'Opdigtet'. Først vises 2 rigtige øveord og 2 øvepseudord med feedback (kan springes over). Ingen tidsgrænse; det afslutter ikke forsøget at forlade fanen.

Parametre

Scoring

For hvert bånd b: h = andelen af båndets rigtige ord, der er markeret som kendte (kun step-2 ord på engelsk, så det adaptive valg ikke skævvrider estimatet); f = andelen af pseudord, der er markeret som kendte (alle 12 fra begge trin på engelsk). Andel kendte ord p = (h − f) / (1 − f), begrænset til intervallet 0 til 1 (0 hvis f = 1). Estimat = summen over bånd af båndstørrelse x p, afrundet til 100 og begrænset til listens størrelse; en højere værdi betyder et større ordforråd. Interval, engelsk: centrale 90% af 4,000 simulerede træk (Jeffreys-Beta-posteriorer for hvert bånds hitrate, ét fælles Beta-træk for falsk alarm-rate og Beta-usikkerhed for hvert bånds størrelse ud fra den oprindelige gennemgang af 70 kandidater), udvidet, så det omfatter estimatet; ved f = 1 er intervallet hele listen. Interval, andre sprog: plus/minus 1.645 binomialstandardfejl summeret over bånd. Andre sprog får også en LexTALE-lignende nøjagtighed = gennemsnittet af procentdelen af accepterede rigtige ord og procentdelen af afviste pseudord. Engelske percentiler: andelen af egnede spillere, hvis resultat ligger strengt under estimatet (aktuel metode og liste, pålidelige resultater, ikke sandsynligvis automatiseret, første egnede forsøg pr. spiller), kun vist for grupper på mindst 100; ellers vises offentliggjorte forskningsresultater som kontekst.

Regler for gyldige gennemførelser

Serveren genskaber elementerne ud fra forsøgets seed (det fremgår aldrig af siden, hvilke elementer der er rigtige, bortset fra i øvelsen). Der skal svares på hvert element; det engelske format i to trin kræver præcis 40 og 60 svar og kan ikke blandes med formatet i ét trin. Resultater med for mange pseudord markeret som kendte markeres som usikre og får ingen percentil. Serveren genskaber hvert forsøg ud fra råloggen (og forsøgets seed, hvis der er et) og beregner selv resultatet; sidens angivelser af rigtigt eller forkert ignoreres. En log, der bryder spillets regler, afvises, og intet gemmes. Gemte forsøg kan have kvalitetsflag, som aldrig vises og aldrig blokerer et resultat: 10 eller flere forsøg fra én IP-adresse, manglende besøgs-id, skift mellem faner og automatiseringssignaler (automatiseret browser, umulig hastighed, ingen inputhændelser, maskinregelmæssig timing).

Forskelle fra den klassiske opgave

Ja/nej-test med pseudord går tilbage til Meara og Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) er en fast test med 60 elementer og en valideret procentscore; Brysbaert et al. (2016) estimerede ordforrådets størrelse ud fra et meget stort onlinedatasæt om ordkendskab med en anden ordbog og en mindre stram forståelse af, hvad det vil sige at kende et ord. Dette estimat, dets lister og dets design i to trin er nyt og er ikke blevet kalibreret uafhængigt. Måleenheden er særskilte skrevne lemmaer, ikke ordfamilier som i Nations Vocabulary Size Test.

Begrænsninger

Selvrapportering: Folk er forskellige med hensyn til, hvor let de markerer et ord som kendt, og pseudord korrigerer kun delvist for det. Båndstørrelserne bygger på gennemgåede stikprøver, ikke på en optælling af en hel ordbog. Lister og båndstørrelser varierer mellem sprog, så estimaterne kan ikke sammenlignes på tværs af sprog. Særlige interesseområder og velkendte orddele påvirker resultatet. At huske ord fra et tidligere forsøg påvirker senere resultater. Testen måler ikke intelligens, sproglig flydende færdighed eller sundhed. Sammenligningsgruppen består af besøgende på webstedet, ikke af befolkningsnormer.

Sprog og status for gennemgang

Engelsk (to trin) samt tysk, spansk, fransk, italiensk, polsk, portugisisk og russisk (ét trin); på webstedets øvrige sprog vises den engelske test. Rigtige ord: Wiktionary-lemmaer (via kaikki.org) rangordnet efter ordfrekvens (wordfreq 3.1.1), med en stikprøve fra hvert bånd gennemgået manuelt; delt under CC BY-SA 4.0 som krævet af licensen. Pseudord blev dannet til hver liste ud fra dens bogstavmønstre og gennemgået manuelt.