Тест на словарный запас: метод

Что измеряет

Объём рецептивного словарного запаса (распознавания) в леммах, по самоотчёту с поправкой на ложные срабатывания на псевдослова. Не проверяет знание определений, активное употребление слов или владение языком.

Процедура

Английский язык (метод en-adaptive-1, список en-1): шаг 1 — сетка из 40 пунктов: по 5 случайных слов из каждой из 7 частотных групп и 5 псевдослов, перемешанных между собой; игрок отмечает знакомые слова («могу объяснить хотя бы одно значение»). Шаг 2 — сетка из 60 новых пунктов: по 4 новых слова из каждой группы, 25 дополнительных слов вокруг той группы, где скорректированная доля знакомых слов на шаге 1 ближе всего к 50% (вес уменьшается вдвое с каждой группой удаления), и 7 новых псевдослов. Слова не повторяются. Время не ограничено; перед отправкой ответа на каждом шаге отметки можно изменить. После результата можно ответить на необязательные вопросы: возрастная группа, родной язык или изучаемый, стаж изучения, частота чтения. Немецкий, испанский, французский, итальянский, польский, португальский и русский языки (списки *-1): по одному слову за раз — 10 случайных слов из каждой из 6 частотных групп (60 реальных слов) и 30 псевдослов, перемешанных между собой (всего 90 пунктов); игрок отвечает «Знаю» или «Вымышленное». Сначала даются 2 тренировочных реальных слова и 2 тренировочных псевдослова с обратной связью; их можно пропустить. Время не ограничено; переход на другую вкладку не завершает попытку.

Параметры

Оценка результатов

Для каждой частотной группы b: h — доля реальных слов этой группы, отмеченных как знакомые (только слова из step-2 в английской версии, чтобы адаптивный подбор не смещал оценку); f — доля псевдослов, отмеченных как знакомые (в английской версии — все 12 слов из обоих шагов). Скорректированная доля знакомых слов p = (h − f) / (1 − f), в пределах от 0 до 1 (если f = 1, то 0). Оценка — сумма по группам: размер группы × p; результат округляется до 100 и ограничивается размером списка. Чем выше значение, тем больше словарный запас. Диапазон для английского языка: центральные 90% из 4,000 смоделированных результатов (апостериорные распределения Джеффриса Beta для доли распознанных слов в каждой группе, одно общее распределение Beta для доли ложных срабатываний и неопределённость размеров групп по распределению Beta, рассчитанному на основе исходной проверки 70 кандидатов); диапазон расширяется, чтобы включить оценку. При f = 1 диапазон охватывает весь список. Диапазон для других языков: плюс-минус 1.645 суммы биномиальных стандартных ошибок по группам. Для других языков также рассчитывается точность в стиле LexTALE — среднее из процента принятых реальных слов и процента отвергнутых псевдослов. Процентили английской версии: доля подходящих игроков с результатом строго ниже вашей оценки (текущий метод и список, надёжные результаты, попытки без явных признаков автоматизации, первая подходящая попытка каждого игрока); показываются только для групп численностью не менее 100 человек. В противном случае для контекста приводятся опубликованные исследовательские данные.

Правила зачёта попытки

Сервер заново формирует задания по начальному значению попытки (информация о том, какие пункты являются реальными словами, не передаётся странице, кроме тренировочных). Нужно ответить на каждый пункт; для английского двухэтапного формата требуется ровно 40 ответов на первом шаге и 60 на втором. Его нельзя смешивать с одноэтапным форматом. Если слишком много псевдослов отмечено как знакомые, результат помечается как ненадёжный и процентиль не рассчитывается. Сервер заново формирует каждую попытку по исходному журналу действий (и начальному значению, если оно есть) и сам рассчитывает результат; сообщения страницы о правильных или неправильных ответах игнорируются. Попытка, журнал которой нарушает правила игры, отклоняется, и данные не сохраняются. У сохранённых попыток могут быть признаки качества, которые не показываются и не влияют на получение результата: 10 или более попыток с одного IP-адреса, отсутствие идентификатора посетителя, переключения вкладок и признаки автоматизации (автоматизированный браузер, невозможная скорость, отсутствие событий ввода, равномерные машинные интервалы).

Отличия от классического задания

Тесты в формате «да/нет» с псевдословами восходят к работе Meara and Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) — фиксированный тест из 60 пунктов с валидированной оценкой в процентах; Brysbaert et al. (2016) оценивали размер словарного запаса по очень большому онлайн-набору данных о знании слов, используя другой словарь и менее строгое определение того, что значит знать слово. Этот способ оценки, его списки и двухэтапная схема являются новыми и не проходили независимую калибровку. Единица подсчёта — отдельная письменная лемма, а не семейство слов, как в тесте размера словарного запаса Nation.

Ограничения

Самооценка: люди по-разному склонны отмечать слово как знакомое, а поправка на псевдослова лишь частично учитывает эту разницу. Размеры частотных групп рассчитаны по проверенным выборкам, а не по подсчёту полного словаря. Списки и размеры групп различаются между языками, поэтому оценки нельзя сравнивать между языками. На результат влияют специальные интересы и знакомые части слов. Если помнить слова из предыдущей попытки, результат следующей меняется. Тест не измеряет интеллект, беглость речи или здоровье. Игроки для сравнения — посетители сайта, а не нормативная выборка населения.

Языки и статус проверки

Английский язык (2 шага), а также немецкий, испанский, французский, итальянский, польский, португальский и русский (1 шаг); на других языках сайта показывается английский тест. Реальные слова: леммы Wiktionary (через kaikki.org), ранжированные по частотности (wordfreq 3.1.1), с выборочной проверкой каждой группы вручную; распространяются по лицензии CC BY-SA 4.0, как того требуют её условия. Псевдослова составлены для каждого списка с учётом его сочетаний букв и проверены вручную.