Žodyno testas: metodika

Ką matuoja

Pasyvusis (atpažįstamas) žodynas lemomis, įvertintas pagal savęs vertinimą ir pakoreguotas atsižvelgiant į klaidingą pseudžodžių atpažinimą. Nevertinama, ar žmogus žino žodžių apibrėžtis, geba juos vartoti ar moka kalbą.

Procedūra

Anglų kalba (metodas en-adaptive-1, sąrašas en-1): 1 etapas – lentelė su 40 elementų: po 5 atsitiktinius žodžius iš kiekvienos iš 7 dažnumo grupių ir 5 pseudžodžius, sumaišytus atsitiktine tvarka; žaidėjas pažymi žinomus žodžius („galėčiau paaiškinti bent vieną reikšmę“). 2 etapas – lentelė su 60 naujų elementų: po 4 naujus žodžius iš kiekvienos grupės, 25 papildomi žodžiai įterpti aplink tą grupę, kurioje 1 etape pakoreguota žinomų žodžių dalis buvo arčiausiai 50% (svoris perpus mažėja su kiekviena tolimesne grupe), ir 7 nauji pseudžodžiai. Žodžiai nesikartoja. Laikas neribojamas; prieš pateikiant kiekvieno etapo atsakymus, pažymėjimus galima keisti. Po rezultato pateikiami pasirenkami klausimai apie amžiaus grupę, ar asmuo yra gimtakalbis, ar mokosi kalbos, kiek metų jos mokėsi ir kaip dažnai skaito. Vokiečių, ispanų, prancūzų, italų, lenkų, portugalų ir rusų kalbomis (sąrašai *-1): po vieną žodį, 10 atsitiktinių žodžių iš kiekvienos iš 6 dažnumo grupių (60 tikrų žodžių) ir 30 pseudžodžių, sumaišytų atsitiktine tvarka (90 elementų); žaidėjas atsako „Žinau“ arba „Išgalvotas“. Iš pradžių pateikiami 2 tikrų ir 2 išgalvotų žodžių pratimai su atsako paaiškinimu (juos galima praleisti). Laikas neribojamas; išėjus iš kortelės, bandymas nenutraukiamas.

Parametrai

Vertinimas

Kiekvienai grupei b: h = grupės tikrų žodžių dalis, pažymėta kaip žinoma (anglų kalba – tik step-2 žodžiai, kad adaptyvus pasirinkimas neiškreiptų įverčio); f = žinomais pažymėtų pseudžodžių dalis (anglų kalba – visi 12 žodžių iš abiejų etapų). Žinomų žodžių dalis p = (h − f) / (1 − f), apribota nuo 0 iki 1 (0, jei f = 1). Įvertis = visų grupių dydžio ir p sandaugų suma, suapvalinta iki 100 ir apribota sąrašo dydžiu; didesnis skaičius reiškia didesnį žodyną. Anglų kalbos intervalas: centriniai 90% iš 4,000 imituotų imčių (kiekvienos grupės atpažinimo dažnio Jeffreys Beta užpakaliniai skirstiniai, vienas bendras Beta atsitiktinis klaidingo atpažinimo dažnio dydis ir kiekvienos grupės dydžio Beta neapibrėžtumas, pagrįstas pradine 70 kandidatų peržiūra); intervalas išplečiamas, kad apimtų įvertį. Kai f = 1, intervalas apima visą sąrašą. Kitų kalbų intervalas: prie sumuotų grupių binominių standartinių paklaidų pridedama ir iš jų atimama 1.645. Kitoms kalboms taip pat apskaičiuojamas LexTALE tipo tikslumas = tikrų žodžių priėmimo procento ir pseudžodžių atmetimo procento vidurkis. Anglų kalbos procentiliai: tinkamų žaidėjų, kurių įvertis griežtai mažesnis, dalis (dabartinis metodas ir sąrašas, patikimi rezultatai, tikėtina, automatizuoti nebuvo, kiekvienam žaidėjui įtraukiamas pirmas tinkamas bandymas); rodomi tik grupėms, kurias sudaro bent 100 žaidėjų, o kitais atvejais pateikiami paskelbtų tyrimų duomenys kontekstui.

Galiojančio bandymo taisyklės

Serveris iš naujo sudaro elementus pagal bandymo pradinę reikšmę (kurie elementai tikri, puslapio nepasiekia, išskyrus pratimus). Būtina atsakyti į kiekvieną elementą; angliškame dviejų etapų formate turi būti pateikti tiksliai 40 ir 60 atsakymų, jo negalima maišyti su vieno etapo formatu. Rezultatai, kai per daug pseudžodžių pažymėta kaip žinomi, laikomi nepatikimais ir procentilis neskiriamas. Serveris iš naujo sudaro kiekvieną bandymą iš neapdoroto žurnalo (ir bandymo pradinės reikšmės, jei ji yra) bei pats apskaičiuoja įvertį; puslapio pateikiama informacija apie teisingus ar neteisingus atsakymus ignoruojama. Žurnalas, pažeidžiantis žaidimo taisykles, atmetamas ir niekas neišsaugoma. Išsaugoti bandymai gali turėti kokybės žymas, kurios niekada nerodomos ir netrukdo gauti rezultato: 10 ar daugiau bandymų iš vieno IP adreso, trūkstamas lankytojo ID, kortelių perjungimas ir automatizavimo signalai (automatizuota naršyklė, neįmanomas greitis, nėra įvesties įvykių, mašinai būdingi reguliarūs laiko tarpai).

Skirtumai nuo klasikinės užduoties

Taip / ne testai su pseudžodžiais taikomi nuo Meara ir Buxton (1987) darbo. LexTALE (Lemhöfer & Broersma 2012) yra fiksuotas 60 elementų testas su validuotu procentiniu įverčiu; Brysbaert et al. (2016) įvertino žodyno dydį remdamiesi labai dideliu internetiniu žodžių žinojimo duomenų rinkiniu, naudodami kitokį žodyną ir laisvesnį žodžio žinojimo apibrėžimą. Šis įvertinimo metodas, jo sąrašai ir dviejų etapų schema yra nauji ir nebuvo nepriklausomai kalibruoti. Matavimo vienetas – atskiros rašytinės lemos, o ne žodžių šeimos, kaip Nation žodyno dydžio teste.

Ribotumai

Savęs vertinimas: žmonės skirtingai linkę žodį pažymėti kaip žinomą, o pseudžodžiai šią paklaidą ištaiso tik iš dalies. Grupės dydžiai nustatyti pagal peržiūrėtas imtis, o ne visą žodyno skaičių. Kalbų sąrašai ir grupių dydžiai skiriasi, todėl skirtingų kalbų įverčių negalima lyginti. Specialieji interesai ir pažįstamos žodžių dalys keičia rezultatą. Prisiminti žodžiai iš ankstesnio bandymo keičia vėlesnius rezultatus. Testas nevertina intelekto, sklandumo ar sveikatos. Palyginimo grupę sudaro svetainės lankytojai, o ne populiacijos normos.

Kalbos ir peržiūros būsena

Anglų kalba (du etapai) ir vokiečių, ispanų, prancūzų, italų, lenkų, portugalų bei rusų kalbos (vienas etapas); kitomis svetainės kalbomis pateikiamas anglų kalbos testas. Tikri žodžiai: Wiktionary lemos (per kaikki.org), surikiuotos pagal žodžių dažnumą (wordfreq 3.1.1), su kiekvienos grupės rankiniu būdu peržiūrėta imtimi; pagal licencijos reikalavimus platinama pagal CC BY-SA 4.0. Kiekvienam sąrašui pseudžodžiai sudaryti pagal jo raidžių šablonus ir peržiūrėti rankiniu būdu.