Тест за речников запас: метод

Какво измерва

Рецептивен (разпознавателен) обем на речниковия запас в леми, оценен чрез самоотчет и коригиран за фалшиви тревоги при псевдодуми. Не измерва познаване на определения, продуктивен речник или езикова компетентност.

Процедура

Английски (метод en-adaptive-1, списък en-1): етап 1 е таблица от 40 елемента: 5 случайни думи от всяка от 7 честотни групи плюс 5 псевдодуми, разбъркани; играчът отбелязва думите, които знае („може да обясни поне едно значение“). Етап 2 е таблица от 60 нови елемента: по 4 нови думи от всяка група, 25 допълнителни думи около групата, в която коригираният дял на познатите думи от етап 1 е най-близо до 50% (теглото се намалява наполовина с всяка отдалечена група), и 7 нови псевдодуми. Няма повтарящи се думи. Няма ограничение във времето; отметките могат да се променят, преди всеки етап да бъде изпратен. Незадължителни въпроси след резултата: възрастова група, носител на езика ли сте или го изучавате, години на изучаване, честота на четене. Немски, испански, френски, италиански, полски, португалски и руски (списъци *-1): думите се показват една по една, по 10 случайни думи от всяка от 6 честотни групи (60 истински думи) плюс 30 псевдодуми, разбъркани (90 елемента); играчът отговаря „Знам я“ или „Измислена е“. Първо се дават 2 истински думи и 2 псевдодуми за упражнение с обратна връзка (може да се пропуснат). Няма ограничение във времето; напускането на раздела не прекратява опита.

Параметри

Оценяване

За всяка група b: h = делът на истинските думи в групата, отбелязани като познати (в английския се използват само думите от step-2, за да не влияе адаптивният подбор върху оценката); f = делът на псевдодумите, отбелязани като познати (в английския — всичките 12 от двата етапа). Дялът на познатите думи p = (h − f) / (1 − f), ограничен между 0 и 1 (0, ако f = 1). Оценка = сумата по групи от размер на групата x p, закръглена до 100 и ограничена до размера на списъка; по-високата стойност означава по-голям речников запас. Диапазон, английски: централните 90% от 4,000 симулирани тегления (апостериорни разпределения на Джефрис Beta за дела на познатите думи във всяка група, едно общо Beta теглене за дела на фалшивите тревоги и Beta неопределеност за размера на всяка група според първоначалния преглед на 70 кандидата), разширени така, че да включват оценката; при f = 1 диапазонът обхваща целия списък. Диапазон, други езици: плюс или минус 1.645 биномиални стандартни грешки, събрани по групи. За другите езици се изчислява и точност в стил LexTALE = средната стойност от процента приети истински думи и процента отхвърлени псевдодуми. Персентилите за английски показват дела на допустимите играчи със строго по-ниска оценка (текущ метод и списък, надеждни резултати, без вероятна автоматизация, първи допустим опит на играч), и се показват само за групи от поне 100 души; в противен случай за контекст се дават публикувани научни данни.

Правила за валиден опит

Сървърът възстановява елементите от началната стойност на опита (кои елементи са истински не се разкрива на страницата, освен при упражнението). Трябва да се отговори на всеки елемент; английският формат с 2 етапа изисква точно 40 и 60 отговора и не може да се смесва с формата от един етап. Резултатите, при които твърде много псевдодуми са отбелязани като познати, се маркират като ненадеждни и не получават персентил. Сървърът възстановява всеки опит от необработения журнал (и началната стойност на опита, ако има такава) и сам изчислява резултата; информацията на страницата за правилни или грешни отговори се пренебрегва. Журнал, който нарушава правилата на играта, се отхвърля и нищо не се съхранява. Съхранените опити могат да имат флагове за качество, които никога не се показват и не възпрепятстват получаването на резултат: 10 или повече опита от един IP адрес, липсващ идентификатор на посетител, превключвания между раздели и сигнали за автоматизация (автоматизиран браузър, невъзможно висока скорост, липса на събития от въвеждане, машинно равномерно време).

Разлики спрямо класическата задача

Тестовете с отговор „да/не“ и псевдодуми водят началото си от Meara and Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) е тест с фиксирани 60 елемента и валидиран процентен резултат; Brysbaert et al. (2016) оценяват размера на речниковия запас въз основа на много голям онлайн набор от данни за познаване на думи, с различен речник и по-свободно разбиране за това какво означава да знаеш дума. Този метод за оценка, неговите списъци и дизайнът му в 2 етапа са нови и не са калибрирани независимо. Единицата са отделни писмени леми, а не словофамилни гнезда, както в Vocabulary Size Test на Nation.

Ограничения

Самооценка: хората се различават по това колко лесно отбелязват дадена дума като позната, а псевдодумите коригират това само отчасти. Размерът на групите се основава на прегледани извадки, а не на преброяване на пълен речник. Списъците и размерите на групите се различават между езиците, затова оценките не са съпоставими между езици. Специализираните интереси и познатите части на думите влияят върху резултата. Спомнянето на думи от предишен опит променя следващите резултати. Тестът не измерва интелигентност, свободно владеене или здраве. Играчите за сравнение са посетители на сайта, а не представителни популационни норми.

Езици и статус на прегледа

Английски (2 етапа), както и немски, испански, френски, италиански, полски, португалски и руски (1 етап); за останалите езици на сайта се показва тестът по английски. Истински думи: леми от Wiktionary (чрез kaikki.org), подредени по честота на думите (wordfreq 3.1.1), с ръчно прегледана извадка за всяка група; споделят се съгласно CC BY-SA 4.0, както изисква лицензът. Псевдодумите са създадени за всеки списък според неговите буквени модели и са прегледани ръчно.