Szókincsteszt: módszertan

Mit mér

A passzív (felismerésen alapuló) szókincs mérete lemmákban kifejezve, önbevallás alapján, az álszavakra adott téves pozitív válaszokkal korrigálva. Nem a definíciók ismeretét, az aktív szóhasználatot vagy a nyelvtudást méri.

Eljárás

Angol (módszer en-adaptive-1, lista en-1): az 1. lépés egy 40 elemből álló rács: mind a 7 gyakorisági sávból 5 véletlenszerű szó, valamint 5 álszó, összekeverve; a játékos bejelöli azokat a szavakat, amelyeket ismer („legalább egy jelentését el tudná magyarázni”). A 2. lépés egy 60 új elemből álló rács: sávonként 4 új szó, további 25 szó abban a sávban elosztva, ahol az 1. lépésben a korrigált ismert szóarány a legközelebb van az 50%-hoz (a súlyok minden távolabbi sávval megfeleződnek), valamint 7 új álszó. Egyik szó sem ismétlődik. Nincs időkorlát; a bejelölések az egyes lépések beküldése előtt módosíthatók. Az eredmény után választható kérdések: korcsoport, anyanyelvi beszélő vagy nyelvtanuló, a tanulás éveinek száma, olvasási gyakoriság. Német, spanyol, francia, olasz, lengyel, portugál és orosz (*-1 listák): egyenként jelenik meg 10 véletlenszerű szó a 6 gyakorisági sáv mindegyikéből (60 valódi szó), valamint 30 álszó, összekeverve (90 elem); a játékos az „Ismerem” vagy a „Kitalált” választ adja. Először 2 gyakorló valódi szó és 2 gyakorló álszó következik visszajelzéssel (átugorható). Nincs időkorlát; a lapfül elhagyása nem szakítja meg a feladatot.

Paraméterek

Pontozás

Minden b sávra: h = a bejelölt, ismert valódi szavak aránya a sávban (angolul csak a step-2 szavak számítanak, így az adaptív kiválasztás nem torzítja a becslést); f = ismertként bejelölt álszavak aránya (angolul mind a 12, mindkét lépésből). Az ismert szavak korrigált aránya p = (h − f) / (1 − f), 0 és 1 közé korlátozva (ha f = 1, akkor 0). A becslés = a sávok mérete × p szorzatok összege, 100-ra kerekítve, és a lista méretére korlátozva; a nagyobb érték nagyobb szókincset jelez. Tartomány, angol: 4,000 szimulált húzás középső 90%-a (Jeffreys-féle béta utólagos eloszlások az egyes sávok találati arányára, egy közös béta-húzás a téves pozitív arányra, valamint béta-alapú bizonytalanság minden sáv méretére az eredeti, 70 jelöltet áttekintő vizsgálat alapján), a becslést is magában foglalóan kibővítve; ha f = 1, a tartomány a teljes lista. Tartomány, más nyelvek: sávonként összeadott binomiális standard hibák 1.645-szöröse a becsléshez hozzáadva, illetve abból levonva. Más nyelveknél LexTALE-típusú pontosság is szerepel = a valódi szavak elfogadott arányának és az álszavak elutasított arányának százalékos értékeinek átlaga. Angol percentilisek: azoknak a jogosult játékosoknak az aránya, akiknek az eredménye szigorúan a becslés alatt van (az aktuális módszer és lista, megbízható eredmények, valószínűleg nem automatizált, játékosonként az első jogosult próbálkozás), csak legalább 100 fős csoportoknál jelenik meg; kisebb csoportok esetén a publikált kutatási adatokat mutatjuk tájékoztatásul.

Az érvényes futam feltételei

A szerver a menet véletlenmagjából újra összeállítja az elemeket (az oldal nem tudja, mely elemek valódi szavak, kivéve a gyakorlás során). Minden elemre válaszolni kell; az angol kétlépéses formátumban pontosan 40 és 60 válasz szükséges, és ez nem keverhető az egylépéses formátummal. Azokat az eredményeket, amelyeknél túl sok álszót jelöltek ismertként, bizonytalannak jelöljük, és nem kapnak percentilist. A szerver minden menetet újra összeállít a nyers naplóból (és ahol van, a menet véletlenmagjából), majd maga számítja ki a pontszámot; az oldal által helyesnek vagy helytelennek jelölt válaszokat figyelmen kívül hagyja. A játék szabályait sértő naplót elutasítjuk, és semmit sem tárolunk. A tárolt menetekhez tartozhatnak olyan minőségi jelzők, amelyeket soha nem jelenítünk meg, és amelyek nem akadályozzák az eredményt: 10 vagy több menet egy IP-címről, hiányzó látogatóazonosító, lapfülváltások és automatizálásra utaló jelek (automatizált böngésző, lehetetlen sebesség, beviteli események hiánya, gépiesen szabályos időzítés).

Eltérések a klasszikus feladattól

Az álszavakat használó igen/nem tesztek Meara és Buxton (1987) munkájáig nyúlnak vissza. A LexTALE (Lemhöfer & Broersma 2012) egy rögzített, 60 elemes teszt validált százalékos pontszámmal; Brysbaert et al. (2016) egy nagyon nagy online szóismereti adathalmaz alapján becsülték meg a szókincs méretét, más szótárral és a szó ismeretének megengedőbb értelmezésével. Ez a becslési módszer, a szólisták és a kétlépéses kialakítás új, és független kalibrálása még nem történt meg. A mérőegység a különálló írott lemma, nem pedig a Nation-féle Szókincsméret-tesztben használt szócsalád.

Korlátok

Önbevallás: az emberek eltérnek abban, milyen könnyen jelölnek ismertnek egy szót, az álszavak pedig ezt csak részben korrigálják. A sávok mérete áttekintett mintákon alapul, nem a teljes szótár megszámlálásán. A listák és a sávok mérete nyelvenként eltér, ezért a becslések nem hasonlíthatók össze a nyelvek között. A szakmai érdeklődés és az ismerős szóelemek módosítják az eredményt. A korábbi menetből felidézett szavak hatással vannak a későbbi eredményekre. A teszt nem méri az intelligenciát, a folyékony nyelvhasználatot vagy az egészséget. Az összehasonlítás alapjául szolgáló játékosok az oldal látogatói, nem a teljes népességre vonatkozó normák.

Nyelvek és az ellenőrzés állapota

Angol (kétlépéses), valamint német, spanyol, francia, olasz, lengyel, portugál és orosz (egylépéses); az oldal más nyelvein az angol teszt jelenik meg. Valódi szavak: Wiktionary-lemmák (a kaikki.org közvetítésével), szógyakoriság szerint rangsorolva (wordfreq 3.1.1), sávonként kézzel áttekintett mintával; a licenc előírása szerint CC BY-SA 4.0 licenc alatt megosztva. Az egyes listákhoz álszavak készültek a nyelvre jellemző betűminták alapján, majd kézzel áttekintették őket.