Test słownictwa: metodyka

Co mierzy

Wielkość receptywnego (rozpoznawanego) słownictwa w lematach, na podstawie samooceny skorygowanej o fałszywe alarmy wywołane pseudowyrazami. Test nie mierzy znajomości definicji, produktywnego użycia języka ani biegłości językowej.

Procedura

Angielski (metoda en-adaptive-1, lista en-1): krok 1 to siatka 40 pozycji: 5 losowych słów z każdego z 7 pasm częstości oraz 5 pseudowyrazów, w losowej kolejności; gracz zaznacza słowa, które zna („potrafi wyjaśnić co najmniej jedno znaczenie”). Krok 2 to siatka 60 nowych pozycji: 4 nowe słowa z każdego pasma, 25 dodatkowych słów umieszczonych wokół pasma, w którym skorygowany udział znanych słów w kroku 1 jest najbliższy 50% (wagi zmniejszają się o połowę z każdym kolejnym pasmem), oraz 7 nowych pseudowyrazów. Żadne słowo się nie powtarza. Test nie jest ograniczony czasowo; zaznaczenia można zmieniać przed przesłaniem każdego kroku. Po wyniku można odpowiedzieć na pytania o grupę wiekową, to, czy jest się rodzimym użytkownikiem języka czy osobą uczącą się, lata nauki i częstotliwość czytania. Niemiecki, hiszpański, francuski, włoski, polski, portugalski i rosyjski (listy *-1): po jednym słowie naraz, 10 losowych słów z każdego z 6 pasm częstości (60 prawdziwych słów) oraz 30 pseudowyrazów w losowej kolejności (90 pozycji); gracz odpowiada „Znam” albo „Zmyślone”. Najpierw 2 prawdziwe słowa i 2 pseudowyrazy próbne z informacją zwrotną (można je pominąć). Test nie jest ograniczony czasowo; opuszczenie karty nie kończy podejścia.

Parametry

Punktacja

Dla każdego pasma b: h = udział prawdziwych słów z pasma oznaczonych jako znane (w angielskim tylko słowa z step-2, aby wybór adaptacyjny nie zniekształcał wyniku szacunkowego); f = udział pseudowyrazów oznaczonych jako znane (w angielskim wszystkie 12 z obu kroków). Skorygowany udział znanych słów p = (h − f) / (1 − f), ograniczony do przedziału od 0 do 1 (0, jeśli f = 1). Wynik szacunkowy = suma iloczynów wielkości pasma i p, zaokrąglona do 100 i ograniczona do wielkości listy; wyższy wynik oznacza większy zasób słownictwa. Zakres w języku angielskim: środkowe 90% z 4,000 symulowanych losowań (rozkłady a posteriori Beta Jeffreysa dla odsetka trafień w każdym paśmie, jeden wspólny los z rozkładu Beta dla odsetka fałszywych alarmów oraz niepewność wielkości każdego pasma opisana rozkładem Beta na podstawie pierwotnego przeglądu 70 kandydatów), poszerzone tak, by obejmowały wynik szacunkowy; przy f = 1 zakres obejmuje całą listę. Zakres dla pozostałych języków: plus lub minus 1.645 błędu standardowego rozkładu dwumianowego, sumowanego po pasmach. Dla pozostałych języków podawana jest także trafność w stylu LexTALE = średnia z odsetka zaakceptowanych prawdziwych słów i odsetka odrzuconych pseudowyrazów. Centyle dla angielskiego: odsetek kwalifikujących się graczy z wynikiem ściśle niższym od wyniku szacunkowego (bieżąca metoda i lista, wiarygodne wyniki, bez prawdopodobnej automatyzacji, pierwsze kwalifikujące się podejście danego gracza); wyświetlane tylko dla grup liczących co najmniej 100 osób. W przeciwnym razie jako kontekst podawane są opublikowane wyniki badań.

Zasady prawidłowego wykonania

Serwer odtwarza pozycje na podstawie ziarna losowania podejścia (informacja, które pozycje są prawdziwymi słowami, nie trafia na stronę, z wyjątkiem części próbnej). Trzeba odpowiedzieć na każdą pozycję; angielski format dwuetapowy wymaga dokładnie 40 i 60 odpowiedzi i nie można go łączyć z formatem jednoetapowym. Wyniki z nadmierną liczbą pseudowyrazów oznaczonych jako znane są oznaczane jako niestabilne i nie otrzymują centyla. Serwer odtwarza każde podejście z surowego dziennika (oraz ziarna losowania, jeśli jest dostępne) i sam oblicza wynik; ignoruje wszelkie informacje na stronie o tym, które odpowiedzi były poprawne lub błędne. Dziennik naruszający zasady gry zostaje odrzucony, a żadne dane nie są zapisywane. Zapisane podejścia mogą otrzymać niewyświetlane i nieblokujące wyniku flagi jakości: 10 lub więcej podejść z jednego adresu IP, brak identyfikatora odwiedzającego, przełączanie kart oraz sygnały automatyzacji (zautomatyzowana przeglądarka, niemożliwa szybkość, brak zdarzeń wejściowych, regularne jak w maszynie odstępy czasowe).

Różnice względem klasycznego zadania

Testy z odpowiedziami tak/nie i pseudowyrazami sięgają pracy Meara i Buxtona (1987). LexTALE (Lemhöfer & Broersma 2012) to stały test obejmujący 60 pozycji ze zwalidowanym wynikiem procentowym; Brysbaert i in. (2016) oszacowali wielkość słownictwa na podstawie bardzo dużego internetowego zbioru danych o znajomości słów, korzystając z innego słownika i luźniejszej definicji znajomości słowa. Ten estymator, jego listy i dwuetapowy projekt są nowe i nie zostały niezależnie skalibrowane. Jednostką są odrębne lemata pisane, a nie rodziny wyrazów, jak w teście wielkości słownictwa Nationa.

Ograniczenia

Samoocena: ludzie różnią się skłonnością do oznaczania słów jako znanych, a pseudowyrazy korygują to tylko częściowo. Wielkość pasm opiera się na przejrzanych próbach, a nie na pełnym zliczeniu słownika. Listy i wielkości pasm różnią się między językami, więc wyników szacunkowych nie można porównywać między językami. Zainteresowania specjalistyczne i znajomość części wyrazów wpływają na wynik. Pamiętanie słów z wcześniejszego podejścia zmienia późniejsze wyniki. Test nie mierzy inteligencji, płynności językowej ani zdrowia. Grupa porównawcza obejmuje odwiedzających stronę, a nie normy populacyjne.

Języki i status weryfikacji

Angielski (dwa etapy) oraz niemiecki, hiszpański, francuski, włoski, polski, portugalski i rosyjski (jeden etap); w innych językach dostępnych na stronie wyświetlany jest test angielski. Prawdziwe słowa: lemata z Wikisłownika (za pośrednictwem kaikki.org), uszeregowane według częstości słów (wordfreq 3.1.1), z ręcznie sprawdzoną próbą z każdego pasma; udostępnione na licencji CC BY-SA 4.0, zgodnie z jej wymogami. Pseudowyrazy utworzono dla każdej listy na podstawie jej wzorców literowych i sprawdzono ręcznie.