Metodă: Test de vocabular

Ce măsoară

Mărimea vocabularului receptiv (de recunoaștere), exprimată în leme, pe baza autoevaluării corectate pentru alarme false la pseudocuvinte. Nu măsoară cunoașterea definițiilor, producerea limbajului sau competența lingvistică.

Procedură

Engleză (metoda en-adaptive-1, lista en-1): pasul 1 este o grilă cu 40 de elemente: 5 cuvinte aleatorii din fiecare dintre cele 7 benzi de frecvență, plus 5 pseudocuvinte, amestecate; jucătorul bifează cuvintele pe care le cunoaște („ar putea explica cel puțin un sens”). Pasul 2 este o grilă cu 60 de elemente noi: 4 cuvinte noi pentru fiecare bandă, 25 de cuvinte suplimentare plasate în jurul benzii în care proporția corectată de cuvinte cunoscute la pasul 1 este cea mai apropiată de 50% (ponderile se înjumătățesc pentru fiecare bandă de distanță) și 7 pseudocuvinte noi. Niciun cuvânt nu se repetă. Fără limită de timp; bifele pot fi schimbate înainte de trimiterea fiecărui pas. Întrebări opționale după rezultat: grupa de vârstă, vorbitor nativ sau cursant, anii de studiu, frecvența lecturii. Germană, spaniolă, franceză, italiană, poloneză, portugheză și rusă (listele *-1): câte un cuvânt pe rând, 10 cuvinte aleatorii din fiecare dintre cele 6 benzi de frecvență (60 de cuvinte reale) plus 30 de pseudocuvinte, amestecate (90 de elemente); jucătorul răspunde „Îl cunosc” sau „Inventat”. Mai întâi, 2 cuvinte reale și 2 pseudocuvinte pentru exersare, cu feedback (se pot omite). Fără limită de timp; părăsirea filei nu încheie testul.

Parametri

Punctaj

Pentru fiecare bandă b: h = proporția cuvintelor reale din bandă marcate ca fiind cunoscute (în engleză: numai cuvintele step-2, astfel încât alegerea adaptivă să nu influențeze estimarea); f = proporția pseudocuvintelor marcate ca fiind cunoscute (în engleză: toate cele 12 din ambii pași). Proporția cunoscută p = (h − f) / (1 − f), menținută între 0 și 1 (0 dacă f = 1). Estimarea = suma, pentru toate benzile, a dimensiunii benzii x p, rotunjită la 100 și limitată la dimensiunea listei; o valoare mai mare indică un vocabular mai amplu. Interval, engleză: 90% central din 4,000 de simulări (distribuții posterioare Beta Jeffreys pentru rata răspunsurilor corecte din fiecare bandă, o singură extragere Beta comună pentru rata alarmelor false și incertitudine Beta privind dimensiunea fiecărei benzi, pe baza analizei inițiale a 70 de candidați), extins astfel încât să includă estimarea; dacă f = 1, intervalul acoperă întreaga listă. Interval, alte limbi: plus sau minus 1.645 erori standard binomiale însumate pentru toate benzile. Pentru alte limbi se calculează și acuratețea în stilul LexTALE = media dintre procentul cuvintelor reale acceptate și procentul pseudocuvintelor respinse. Percentile pentru engleză: proporția jucătorilor eligibili al căror rezultat este strict sub estimare (metoda și lista actuale, rezultate fiabile, fără indicii de automatizare, prima încercare eligibilă pentru fiecare jucător); afișate numai pentru grupuri de cel puțin 100 de persoane; în caz contrar, sunt prezentate ca reper rezultate publicate din cercetări.

Reguli pentru o sesiune validă

Serverul reconstruiește elementele folosind sămânța testului (caracterul real sau inventat al elementelor nu ajunge niciodată pe pagină, cu excepția exercițiului). Trebuie să se răspundă la fiecare element; formatul în engleză cu doi pași necesită exact 40 și 60 de răspunsuri și nu poate fi combinat cu formatul într-un singur pas. Rezultatele în care prea multe pseudocuvinte au fost marcate ca fiind cunoscute sunt considerate nesigure și nu primesc percentilă. Serverul reconstruiește fiecare test din jurnalul brut (și din sămânța testului, dacă există) și calculează el însuși scorul; ignoră orice informație de pe pagină despre răspunsuri corecte sau greșite. Un jurnal care încalcă regulile jocului este respins și nu se stochează nimic. Testele stocate pot avea indicatori de calitate care nu sunt afișați și nu împiedică niciodată afișarea unui rezultat: 10 sau mai multe teste de la aceeași adresă IP, un ID de vizitator lipsă, comutări între file și semnale de automatizare (browser automatizat, viteză imposibilă, lipsa evenimentelor de introducere a datelor, temporizare regulată, specifică unui aparat).

Diferențe față de sarcina clasică

Testele cu răspunsuri da/nu și pseudocuvinte datează de la Meara și Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) este un test fix cu 60 de elemente și un scor procentual validat; Brysbaert et al. (2016) au estimat mărimea vocabularului folosind un set de date online foarte amplu despre cunoașterea cuvintelor, un dicționar diferit și o definiție mai permisivă a cunoașterii unui cuvânt. Acest estimator, listele sale și formatul în doi pași sunt noi și nu au fost calibrate independent. Unitatea este lema scrisă distinctă, nu familia de cuvinte, ca în Testul de mărime a vocabularului al lui Nation.

Limitări

Autoevaluare: oamenii diferă în ușurința cu care marchează un cuvânt drept cunoscut, iar pseudocuvintele corectează doar parțial această tendință. Dimensiunea benzilor se bazează pe eșantioane revizuite, nu pe numărarea unui dicționar complet. Listele și dimensiunile benzilor diferă între limbi, așadar estimările nu sunt comparabile între limbi. Interesele de specialitate și familiaritatea cu anumite părți ale cuvintelor influențează rezultatul. Reamintirea cuvintelor dintr-un test anterior schimbă rezultatele ulterioare. Testul nu măsoară inteligența, fluența sau sănătatea. Jucătorii folosiți pentru comparație sunt vizitatori ai site-ului, nu norme pentru populație.

Limbi și stadiul revizuirii

Engleză (doi pași), plus germană, spaniolă, franceză, italiană, poloneză, portugheză și rusă (un pas); pentru celelalte limbi ale site-ului se afișează testul în engleză. Cuvinte reale: leme din Wiktionary (prin kaikki.org), ordonate după frecvența cuvintelor (wordfreq 3.1.1), cu un eșantion revizuit manual din fiecare bandă; partajate sub licența CC BY-SA 4.0, conform cerințelor licenței. Pseudocuvintele au fost create pentru fiecare listă pe baza tiparelor de litere proprii și revizuite manual.