Wortschatztest: Methodik

Was gemessen wird

Rezeptive (Wiedererkennungs-)Wortschatzgröße in Lemmata, anhand von Selbstauskünften und um Fehlalarme bei Pseudowörtern korrigiert. Misst weder Definitionskenntnis noch Sprachproduktion oder Sprachkompetenz.

Ablauf

Englisch (Methode en-adaptive-1, Liste en-1): Schritt 1 ist ein Raster mit 40 Einträgen: 5 zufällige Wörter aus jeder von 7 Häufigkeitsstufen plus 5 Pseudowörter, gemischt; die spielende Person markiert die Wörter, die sie kennt (‚könnte mindestens eine Bedeutung erklären‘). Schritt 2 ist ein Raster mit 60 neuen Einträgen: 4 neue Wörter pro Stufe, 25 zusätzliche Wörter rund um die Stufe, bei der der korrigierte bekannte Anteil in Schritt 1 am nächsten bei 50% liegt (die Gewichtung halbiert sich mit jeder Stufe Abstand), sowie 7 neue Pseudowörter. Kein Wort kommt doppelt vor. Ohne Zeitbegrenzung; Markierungen können vor dem Absenden jedes Schritts geändert werden. Optionale Fragen nach dem Ergebnis: Altersgruppe, Muttersprachler oder Lernender, Lernjahre, Lesehäufigkeit. Deutsch, Spanisch, Französisch, Italienisch, Polnisch, Portugiesisch und Russisch (Listen *-1): ein Wort nach dem anderen, 10 zufällige Wörter aus jeder von 6 Häufigkeitsstufen (60 echte Wörter) plus 30 Pseudowörter, gemischt (90 Einträge); die spielende Person antwortet mit ‚Kenne ich‘ oder ‚Erfunden‘. Zuerst gibt es 2 echte Übungswörter und 2 Übungs-Pseudowörter mit Rückmeldung (überspringbar). Ohne Zeitbegrenzung; wenn du den Tab verlässt, wird der Durchgang nicht beendet.

Parameter

Auswertung

Pro Stufe b: h = Anteil der echten Wörter dieser Stufe, die als bekannt markiert wurden (Englisch: nur Wörter aus step-2, damit die adaptive Auswahl die Schätzung nicht verzerrt); f = Anteil der Pseudowörter, die als bekannt markiert wurden (Englisch: alle 12 aus beiden Schritten). Bekannter Anteil p = (h − f) / (1 − f), begrenzt auf 0 bis 1 (bei f = 1 gilt 0). Schätzung = Summe über die Stufen aus Stufengröße x p, auf 100 gerundet und auf die Listengröße begrenzt; ein höherer Wert bedeutet einen größeren Wortschatz. Spanne, Englisch: zentrale 90% von 4,000 simulierten Ziehungen (Jeffreys-Beta-Posteriorverteilungen für die Trefferquote jeder Stufe, eine gemeinsame Beta-Ziehung für die Fehlalarmquote und Beta-Unsicherheit der Größe jeder Stufe anhand der ursprünglichen Prüfung von 70 Kandidaten), erweitert, damit die Schätzung enthalten ist; bei f = 1 umfasst die Spanne die gesamte Liste. Spanne, andere Sprachen: plus oder minus 1.645 binomiale Standardfehler, über die Stufen summiert. Für andere Sprachen gibt es außerdem eine Genauigkeit im LexTALE-Stil = Mittelwert aus dem Prozentsatz akzeptierter echter Wörter und dem Prozentsatz zurückgewiesener Pseudowörter. Englische Perzentile: Anteil der geeigneten Spielenden, deren Wert strikt unter der Schätzung liegt (aktuelle Methode und Liste, zuverlässige Ergebnisse, wahrscheinlich nicht automatisiert, erster geeigneter Versuch pro Person); wird nur für Gruppen mit mindestens 100 Personen angezeigt, ansonsten dienen veröffentlichte Forschungswerte als Vergleich.

Regeln für gültige Durchgänge

Der Server erstellt die Einträge anhand des Startwerts des Durchgangs neu (welche Einträge echt sind, wird der Seite nie mitgeteilt, außer beim Üben). Jeder Eintrag muss beantwortet werden; das englische Format mit zwei Schritten erfordert genau 40 und 60 Antworten und kann nicht mit dem Format mit einem Schritt kombiniert werden. Ergebnisse, bei denen zu viele Pseudowörter als bekannt markiert wurden, werden als unsicher gekennzeichnet und erhalten kein Perzentil. Der Server erstellt jeden Durchgang anhand des Rohprotokolls (und, falls vorhanden, des Startwerts) neu und berechnet die Punktzahl selbst; Angaben der Seite darüber, was richtig oder falsch ist, werden ignoriert. Ein Protokoll, das gegen die Spielregeln verstößt, wird abgelehnt und nichts wird gespeichert. Gespeicherte Durchgänge können Qualitätskennzeichen tragen, die nie angezeigt werden und ein Ergebnis nie blockieren: 10 oder mehr Durchgänge von einer IP-Adresse, eine fehlende Besucher-ID, Tabwechsel und Automatisierungssignale (automatisierter Browser, unmögliche Geschwindigkeit, keine Eingabeereignisse, maschinell regelmäßiges Timing).

Unterschiede zur klassischen Aufgabe

Ja/Nein-Tests mit Pseudowörtern gehen auf Meara und Buxton (1987) zurück. LexTALE (Lemhöfer & Broersma 2012) ist ein fester Test mit 60 Einträgen und einem validierten Prozentwert; Brysbaert et al. (2016) schätzten die Wortschatzgröße anhand eines sehr großen Online-Datensatzes zum Wortwissen, mit einem anderen Wörterbuch und einer großzügigeren Auffassung davon, ein Wort zu kennen. Dieser Schätzer, seine Listen und sein Design in zwei Schritten sind neu und wurden nicht unabhängig kalibriert. Die Einheit sind verschiedene geschriebene Lemmata, keine Wortfamilien wie im Vocabulary Size Test von Nation.

Einschränkungen

Selbstauskunft: Menschen unterscheiden sich darin, wie bereitwillig sie ein Wort als bekannt markieren; Pseudowörter korrigieren das nur teilweise. Die Größen der Stufen beruhen auf geprüften Stichproben, nicht auf einer vollständigen Wörterbuchzählung. Listen und Stufengrößen unterscheiden sich zwischen Sprachen, daher sind die Schätzungen sprachübergreifend nicht vergleichbar. Fachinteressen und vertraute Wortbestandteile verändern das Ergebnis. Die Erinnerung an Wörter aus einem früheren Durchgang verändert spätere Ergebnisse. Der Test misst weder Intelligenz noch Sprachgewandtheit oder Gesundheit. Vergleichspersonen sind Website-Besuchende, keine Normstichprobe der Bevölkerung.

Sprachen und Prüfstatus

Englisch (zwei Schritte) sowie Deutsch, Spanisch, Französisch, Italienisch, Polnisch, Portugiesisch und Russisch (ein Schritt); in den anderen Sprachen der Website wird der englische Test angezeigt. Echte Wörter: Wiktionary-Lemmata (über kaikki.org), nach Worthäufigkeit eingestuft (wordfreq 3.1.1), mit einer von Hand geprüften Stichprobe pro Stufe; gemäß den Lizenzbedingungen unter CC BY-SA 4.0 geteilt. Für jede Liste wurden Pseudowörter anhand ihrer Buchstabenmuster erstellt und von Hand geprüft.