Test slovní zásoby: metodika

Co měří

Receptivní (rozpoznávací) velikost slovní zásoby vyjádřená lemmaty, založená na vlastním hodnocení korigovaném podle falešných poplachů u pseudoslov. Neměří znalost definic, produkci ani jazykovou způsobilost.

Postup

Angličtina (metoda en-adaptive-1, seznam en-1): 1. krok tvoří mřížka se 40 položkami: 5 náhodných slov z každého ze 7 pásem četnosti a 5 pseudoslov, promíchaných; hráč zaškrtne slova, která zná („dokázal/a bych vysvětlit alespoň jeden význam“). 2. krok tvoří mřížka se 60 novými položkami: 4 nová slova z každého pásma, 25 dalších slov rozmístěných kolem pásma, v němž se korigovaný podíl známých slov v 1. kroku nejvíce blíží 50 % (váha se s každým vzdálenějším pásmem půlí), a 7 nových pseudoslov. Žádné slovo se neopakuje. Bez časového limitu; zaškrtnuté odpovědi lze před odesláním každého kroku změnit. Po výsledku následují nepovinné otázky: věková skupina, rodilý mluvčí nebo student, délka studia a četnost čtení. Němčina, španělština, francouzština, italština, polština, portugalština a ruština (seznamy *-1): jedno slovo po druhém, 10 náhodných slov z každého ze 6 pásem četnosti (60 skutečných slov) a 30 pseudoslov, promíchaných (90 položek); hráč odpovídá „Znám ho“ nebo „Vymyšlené“. Nejprve se zobrazí 2 skutečná slova a 2 pseudoslova na procvičení se zpětnou vazbou (lze přeskočit). Bez časového limitu; opuštění karty test neukončí.

Parametry

Hodnocení

Pro každé pásmo b: h = podíl skutečných slov z pásma označených jako známá (v angličtině pouze slova z step-2, aby adaptivní výběr nezkreslil odhad); f = podíl pseudoslov označených jako známá (v angličtině všech 12 z obou kroků). Korigovaný podíl známých slov p = (h − f) / (1 − f), omezený na rozmezí 0 až 1 (při f = 1 je 0). Odhad = součet velikostí pásem × p, zaokrouhlený na 100 a omezený velikostí seznamu; vyšší hodnota znamená větší slovní zásobu. Rozmezí pro angličtinu: centrálních 90 % z 4,000 simulovaných výběrů (Jeffreysova beta rozdělení pro míru rozpoznání v každém pásmu, jeden společný výběr z beta rozdělení pro míru falešných poplachů a beta rozdělení nejistoty ve velikosti každého pásma podle původního přezkumu 70 kandidátních slov), rozšířených tak, aby zahrnovaly odhad; při f = 1 tvoří rozmezí celý seznam. Rozmezí pro ostatní jazyky: plus minus 1.645 binomických standardních chyb sečtených přes všechna pásma. U ostatních jazyků se také uvádí přesnost ve stylu LexTALE = průměr procenta přijatých skutečných slov a procenta odmítnutých pseudoslov. Anglické percentily: podíl způsobilých hráčů, jejichž výsledek je přísně nižší než odhad (aktuální metoda a seznam, spolehlivé výsledky, bez pravděpodobné automatizace, první způsobilý pokus každého hráče); zobrazí se pouze pro skupiny alespoň 100 hráčů, jinak se jako kontext uvádějí publikované výzkumné údaje.

Pravidla platného průběhu

Server znovu sestaví položky podle počáteční hodnoty daného běhu (informace o tom, které položky jsou skutečná slova, se na stránku nikdy nedostane, s výjimkou procvičování). Je nutné odpovědět na každou položku; anglický formát se dvěma kroky vyžaduje přesně 40 a 60 odpovědí a nelze jej kombinovat s formátem v jednom kroku. Výsledky s příliš mnoha pseudoslovy označenými jako známá jsou označeny jako nejisté a nedostanou percentil. Server znovu sestaví každý běh z nezpracovaného záznamu (a jeho počáteční hodnoty, pokud ji má) a skóre vypočítá sám; tvrzení stránky o správnosti odpovědí se ignorují. Záznam, který porušuje pravidla hry, se odmítne a nic se neuloží. U uložených běhů mohou být příznaky kvality, které se nikdy nezobrazují a výsledek nijak neblokují: 10 nebo více běhů z jedné IP adresy, chybějící ID návštěvníka, přepínání karet a signály automatizace (automatizovaný prohlížeč, nemožná rychlost, žádné vstupní události, strojově pravidelné načasování).

Rozdíly oproti klasickému úkolu

Testy ano/ne s pseudoslovy pocházejí od Meara a Buxtona (1987). LexTALE (Lemhöfer & Broersma 2012) je pevný test se 60 položkami a ověřeným procentním skóre; Brysbaert et al. (2016) odhadli velikost slovní zásoby z rozsáhlého online souboru údajů o znalosti slov, s použitím jiného slovníku a volnějšího pojetí toho, co znamená slovo znát. Tento odhad, jeho seznamy i dvoukrokové uspořádání jsou nové a nebyly nezávisle kalibrovány. Jednotkou jsou různá psaná lemmata, nikoli slovní čeledi jako v testu velikosti slovní zásoby od Nationa.

Omezení

Vlastní hodnocení: lidé se liší v tom, jak ochotně označí slovo za známé, a pseudoslova tento problém korigují jen částečně. Velikost pásem vychází z přezkoumaných vzorků, nikoli z úplného počtu slov ve slovníku. Seznamy a velikost pásem se mezi jazyky liší, takže odhady nelze napříč jazyky porovnávat. Výsledek ovlivňují specializované zájmy a známé části slov. Zapamatování slov z předchozího běhu mění výsledky v dalších bězích. Test neměří inteligenci, plynulost ani zdraví. Srovnávací hráči jsou návštěvníci webu, nikoli normy pro celou populaci.

Jazyky a stav kontroly

Angličtina (dva kroky) a němčina, španělština, francouzština, italština, polština, portugalština a ruština (jeden krok); v ostatních jazycích webu se zobrazuje anglický test. Skutečná slova: lemmata z Wikislovníku (přes kaikki.org) seřazená podle četnosti slov (wordfreq 3.1.1), s ručně zkontrolovaným vzorkem z každého pásma; sdílena pod licencí CC BY-SA 4.0, jak licence vyžaduje. Pseudoslova byla pro každý seznam vytvořena podle jeho vzorců písmen a ručně zkontrolována.