Тест за вокабулар: методологија

Што мери

Големина на рецептивниот вокабулар (препознавање), мерена во леми, врз основа на самоизвештај коригиран за лажни препознавања на псевдозборови. Не мери познавање на дефиниции, продуктивно користење на зборови или јазична компетентност.

Постапка

Англиски (метод en-adaptive-1, список en-1): чекор 1 е табела со 40 ставки: 5 случајно избрани зборови од секоја од 7-те фреквенциски групи и 5 псевдозборови, измешани; играчот ги означува зборовите што ги знае („може да објасни барем едно значење“). Чекор 2 е табела со 60 нови ставки: 4 нови зборови по група, 25 дополнителни зборови распоредени околу групата во која коригираниот удел на познати зборови во чекор 1 е најблиску до 50% (тежината се преполовува со секоја група подалеку) и 7 нови псевдозборови. Ниеден збор не се повторува. Нема временско ограничување; ознаките може да се менуваат пред да се испрати секој чекор. По резултатот следуваат изборни прашања: возрасна група, мајчин говорител или ученик, години на учење и колку често читате. Германски, шпански, француски, италијански, полски, португалски и руски (списоци *-1): еден збор во даден момент, 10 случајно избрани зборови од секоја од 6 фреквенциски групи (60 вистински зборови) и 30 псевдозборови, измешани (90 ставки); играчот одговара „Го знам“ или „Измислен“. Прво има 2 вистински збора и 2 псевдозбора за вежбање, со повратни информации (може да се прескокнат). Нема временско ограничување; излегувањето од картичката не го прекинува обидот.

Параметри

Оценување

За секоја група b: h = уделот на вистински зборови во групата означени како познати (за англискиот тест се користат само зборовите од step-2, за адаптивниот избор да не ја искриви проценката); f = уделот на псевдозборови означени како познати (за англискиот тест се користат сите 12 од двата чекора). Удел на познатите зборови p = (h − f) / (1 − f), ограничен на интервалот од 0 до 1 (0 ако f = 1). Проценка = збирот низ групите од големината на групата x p, заокружен на 100 и ограничен на големината на списокот; поголема вредност значи поголем вокабулар. Опсег, англиски: централните 90% од 4,000 симулирани извлекувања (Џефрисови бета-апостериорни распределби за стапката на погодени зборови во секоја група, една заедничка бета-извлечена вредност за стапката на лажни препознавања и бета-неизвесност за големината на секоја група врз основа на првичната проверка на 70 кандидати), проширени така што ја опфаќаат проценката; при f = 1, опсегот го опфаќа целиот список. Опсег, други јазици: плус или минус 1.645 збирни биноминални стандардни грешки низ групите. За другите јазици се пресметува и точност слична на LexTALE = просекот од процентот на прифатени вистински зборови и процентот на отфрлени псевдозборови. Англиски перцентили: уделот на подобни играчи со резултат строго под проценката (тековен метод и список, доверливи резултати, веројатно неавтоматизирани обиди, прв подобен обид по играч); се прикажуваат само за групи од најмалку 100 лица, а во спротивно се наведуваат објавени истражувачки резултати како контекст.

Правила за валиден обид

Серверот ги обновува ставките од почетната вредност на обидот (кои ставки се вистински зборови не се прикажува на страницата, освен при вежбањето). Мора да се одговори на секоја ставка; англискиот формат во два чекора бара точно 40 и 60 одговори и не може да се меша со форматот во еден чекор. Резултатите со премногу псевдозборови означени како познати се означуваат како несигурни и не добиваат перцентил. Серверот го обновува секој обид од суровиот дневник (и од почетната вредност на обидот, ако ја има) и сам го пресметува резултатот; се игнорираат сите тврдења на страницата за тоа кои одговори се точни или погрешни. Дневник што ги прекршува правилата на играта се одбива и ништо не се зачувува. Зачуваните обиди може да добијат ознаки за квалитет што никогаш не се прикажуваат и не го блокираат резултатот: 10 или повеќе обиди од една IP-адреса, недостасувачки идентификатор на посетител, менување картички и сигнали за автоматизација (автоматизиран прелистувач, невозможна брзина, отсуство на влезни настани, временски интервали со машинска правилност).

Разлики од класичната задача

Тестовите со одговори да/не и псевдозборови датираат од трудот на Meara и Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) е фиксен тест со 60 ставки и валидиран процентуален резултат; Brysbaert et al. (2016) ја процениле големината на вокабуларот врз основа на многу голема онлајн база на податоци за познавање зборови, со поинаков речник и полабав критериум за тоа што значи да се знае збор. Овој проценувач, неговите списоци и дизајнот во два чекора се нови и не се независно калибрирани. Единицата се различни пишани леми, а не семејства зборови како во Тестот за големина на вокабуларот на Nation.

Ограничувања

Самопроценка: луѓето се разликуваат според тоа колку лесно означуваат дека знаат некој збор, а псевдозборовите само делумно го коригираат ова. Големината на групите се заснова на проверени примероци, а не на пребројување во целосен речник. Списоците и големината на групите се разликуваат меѓу јазиците, па затоа проценките не се споредливи меѓу јазиците. Специјализираните интереси и познатите делови од зборови влијаат на резултатот. Сеќавањето на зборови од претходен обид влијае на подоцнежните резултати. Ова не мери интелигенција, течност во изразувањето или здравје. Играчите за споредба се посетители на страницата, а не репрезентативни норми за населението.

Јазици и статус на проверката

Англиски (два чекора), како и германски, шпански, француски, италијански, полски, португалски и руски (еден чекор); за другите јазици на страницата се прикажува англискиот тест. Вистински зборови: леми од Wiktionary (преку kaikki.org), подредени според фреквенцијата на зборовите (wordfreq 3.1.1), со рачно проверен примерок во секоја група; се споделуваат под лиценцата CC BY-SA 4.0, како што налага лиценцата. Псевдозборовите се создадени за секој список според неговите обрасци на букви и рачно проверени.