Woordenschattest: methode

Wat de test meet

Receptieve (herkende) woordenschatomvang in lemma's, gebaseerd op zelfrapportage en gecorrigeerd voor valse alarmen bij pseudowoorden. Meet geen kennis van definities, woordproductie of taalvaardigheid.

Procedure

Engels (methode en-adaptive-1, lijst en-1): stap 1 is een raster met 40 items: 5 willekeurige woorden uit elk van de 7 frequentieklassen plus 5 pseudowoorden, door elkaar gehusseld; de speler vinkt de woorden aan die die kent ('minstens één betekenis kunnen uitleggen'). Stap 2 is een raster met 60 nieuwe items: 4 nieuwe woorden per klasse, 25 extra woorden rond de klasse waarin het gecorrigeerde aandeel bekende woorden in stap 1 het dichtst bij 50% ligt (het gewicht halveert met elke klasse verder weg), en 7 nieuwe pseudowoorden. Geen enkel woord komt twee keer voor. Geen tijdslimiet; je kunt de vinkjes vóór het indienen van elke stap wijzigen. Optionele vragen na de uitslag: leeftijdsgroep, moedertaalspreker of taalleerder, aantal leerjaren, leesfrequentie. Duits, Spaans, Frans, Italiaans, Pools, Portugees en Russisch (lijsten *-1): één woord per keer, 10 willekeurige woorden uit elk van de 6 frequentieklassen (60 echte woorden) plus 30 pseudowoorden, door elkaar gehusseld (90 items); de speler antwoordt 'Ik ken het' of 'Verzonnen'. Eerst 2 oefenwoorden en 2 oefenpseudowoorden met feedback (overslaan kan). Geen tijdslimiet; het verlaten van het tabblad beëindigt de test niet.

Parameters

Scoring

Per klasse b: h = aandeel echte woorden in de klasse dat als bekend is gemarkeerd (Engels: alleen woorden uit step-2, zodat de adaptieve keuze de schatting niet vertekent); f = aandeel pseudowoorden dat als bekend is gemarkeerd (Engels: alle 12 uit beide stappen). Gecorrigeerd aandeel bekende woorden p = (h − f) / (1 − f), begrensd tussen 0 en 1 (0 als f = 1). Schatting = som over de klassen van de klasseomvang x p, afgerond op 100 en begrensd op de omvang van de lijst; een hogere waarde betekent een grotere woordenschat. Bereik, Engels: de centrale 90% van 4,000 gesimuleerde trekkingen (Jeffreys-Bètaverdelingen achteraf voor de trefkans van elke klasse, één gedeelde Bèta-trekking voor het percentage valse alarmen en Bèta-onzekerheid over de omvang van elke klasse op basis van de oorspronkelijke beoordeling van 70 kandidaten), verruimd zodat de schatting erin valt; bij f = 1 is het bereik de hele lijst. Bereik, andere talen: plus of min 1.645 binomiale standaardfouten, opgeteld over de klassen. Andere talen krijgen ook een LexTALE-achtige nauwkeurigheid = het gemiddelde van het percentage geaccepteerde echte woorden en het percentage afgewezen pseudowoorden. Engelse percentielen: aandeel in aanmerking komende spelers met een strikt lagere schatting (huidige methode en lijst, betrouwbare resultaten, waarschijnlijk niet geautomatiseerd, eerste geschikte poging per speler); alleen getoond voor groepen van minstens 100 spelers. Anders worden gepubliceerde onderzoeksgegevens ter vergelijking getoond.

Regels voor een geldige poging

De server bouwt de items opnieuw op aan de hand van de startwaarde van de sessie (welke items echt zijn, wordt nooit op de pagina getoond, behalve tijdens het oefenen). Elk item moet worden beantwoord; voor het Engelse format in twee stappen zijn precies 40 en 60 antwoorden nodig, en dit mag niet worden gecombineerd met het format in één stap. Resultaten waarbij te veel pseudowoorden als bekend zijn gemarkeerd, worden als onzeker aangemerkt en krijgen geen percentiel. De server bouwt elke sessie opnieuw op uit het onbewerkte logboek (en de startwaarde van de sessie, indien aanwezig) en berekent zelf de score; informatie op de pagina over goede of foute antwoorden wordt genegeerd. Een logboek dat de spelregels overtreedt, wordt afgewezen en er wordt niets opgeslagen. Opgeslagen sessies kunnen kwaliteitsmarkeringen bevatten die nooit worden getoond en een uitslag nooit tegenhouden: 10 of meer sessies vanaf één IP-adres, een ontbrekende bezoekers-ID, wisselingen van tabblad en signalen van automatisering (geautomatiseerde browser, onmogelijke snelheid, geen invoergebeurtenissen, machinaal regelmatige timing).

Verschillen met de klassieke taak

Ja/nee-tests met pseudowoorden gaan terug op Meara en Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) is een vaste test met 60 items en een gevalideerde percentagescore; Brysbaert et al. (2016) schatten de woordenschatomvang op basis van een zeer grote online dataset over woordkennis, met een ander woordenboek en een ruimere opvatting van wat het betekent een woord te kennen. Deze schattingsmethode, de lijsten en het ontwerp in twee stappen zijn nieuw en zijn niet onafhankelijk gekalibreerd. De eenheid is een afzonderlijk geschreven lemma, geen woordfamilie zoals bij Nation's Vocabulary Size Test.

Beperkingen

Zelfrapportage: mensen verschillen in hoe gemakkelijk ze een woord als bekend markeren; pseudowoorden corrigeren dit slechts gedeeltelijk. De omvang van de klassen is gebaseerd op beoordeelde steekproeven, niet op tellingen van een volledig woordenboek. Lijsten en klasseomvang verschillen per taal, dus schattingen zijn niet tussen talen vergelijkbaar. Specialistische interesses en bekende woorddelen beïnvloeden de uitslag. Woorden onthouden van een eerdere sessie beïnvloedt latere uitslagen. De test meet geen intelligentie, taalvaardigheid of gezondheid. Vergelijkingsspelers zijn bezoekers van de site, geen normgroepen uit de bevolking.

Talen en beoordelingsstatus

Engels (twee stappen) plus Duits, Spaans, Frans, Italiaans, Pools, Portugees en Russisch (één stap); voor andere talen op de site wordt de Engelse test getoond. Echte woorden: lemma's uit Wiktionary (via kaikki.org), gerangschikt op woordfrequentie (wordfreq 3.1.1), met een handmatig beoordeelde steekproef per klasse; beschikbaar onder CC BY-SA 4.0, zoals de licentie vereist. Voor elke lijst zijn pseudowoorden gemaakt op basis van de letterpatronen en handmatig beoordeeld.