Test di vocabolario: metodo

Cosa misura

Ampiezza del vocabolario ricettivo (di riconoscimento), in lemmi, misurata tramite autovalutazione corretta per i falsi allarmi alle pseudoparole. Non misura la conoscenza delle definizioni, la produzione o la competenza linguistica.

Procedura

Inglese (metodo en-adaptive-1, lista en-1): la fase 1 presenta una griglia di 40 elementi: 5 parole casuali da ciascuna delle 7 fasce di frequenza più 5 pseudoparole, in ordine casuale; chi partecipa seleziona le parole che conosce ('saprebbe spiegare almeno un significato'). La fase 2 presenta una griglia di 60 nuovi elementi: 4 nuove parole per fascia, 25 parole aggiuntive collocate intorno alla fascia in cui la quota corretta di parole note nella fase 1 è più vicina al 50% (il peso si dimezza per ogni fascia di distanza) e 7 nuove pseudoparole. Nessuna parola si ripete. Non è a tempo; le selezioni si possono modificare prima di inviare ciascuna fase. Dopo il risultato sono facoltative alcune domande: fascia d'età, madrelingua o apprendente, anni di studio, frequenza di lettura. Tedesco, spagnolo, francese, italiano, polacco, portoghese e russo (liste *-1): una parola alla volta, 10 parole casuali da ciascuna delle 6 fasce di frequenza (60 parole autentiche) più 30 pseudoparole, in ordine casuale (90 elementi); chi partecipa risponde 'La conosco' oppure 'Inventata'. Prima si fanno 2 prove con parole autentiche e 2 con pseudoparole, con riscontro (si possono saltare). Non è a tempo; lasciare la scheda aperta non interrompe la sessione.

Parametri

Punteggio

Per ogni fascia b: h = quota di parole autentiche della fascia selezionate come note (in inglese solo le parole step-2, così la scelta adattiva non distorce la stima); f = quota di pseudoparole selezionate come note (in inglese tutte le 12 di entrambe le fasi). La quota di parole note p = (h − f) / (1 − f), limitata all'intervallo da 0 a 1 (0 se f = 1). Stima = somma, su tutte le fasce, di dimensione della fascia x p, arrotondata a 100 e limitata alla dimensione della lista; un valore più alto indica un vocabolario più ampio. Intervallo, inglese: 90% centrale di 4,000 simulazioni (distribuzioni a posteriori Beta di Jeffreys per il tasso di riconoscimento di ciascuna fascia, un'unica estrazione Beta condivisa per il tasso di falsi allarmi e incertezza Beta sulla dimensione di ciascuna fascia, basata sulla revisione originale di 70 candidati), ampliato in modo da includere la stima; se f = 1, l'intervallo comprende l'intera lista. Intervallo, altre lingue: si sommano, su tutte le fasce, le deviazioni standard binomiali moltiplicate per 1.645. Per le altre lingue si calcola anche un'accuratezza in stile LexTALE = media tra la percentuale di parole autentiche accettate e la percentuale di pseudoparole rifiutate. Percentili in inglese: quota di partecipanti idonei con stima strettamente inferiore (metodo e lista attuali, risultati affidabili, probabilmente non automatizzati, primo tentativo idoneo per partecipante); vengono mostrati solo per gruppi di almeno 100 persone; altrimenti si riportano come riferimento i dati pubblicati della ricerca.

Criteri di validità di una sessione

Il server ricostruisce gli elementi usando il seme della sessione (gli elementi autentici non vengono mai indicati sulla pagina, tranne durante le prove). È necessario rispondere a ogni elemento; il formato inglese in due fasi richiede esattamente 40 e 60 risposte e non può essere combinato con il formato a fase unica. I risultati con troppe pseudoparole selezionate come note sono contrassegnati come poco affidabili e non ricevono un percentile. Il server ricostruisce ogni sessione dal registro grezzo (e dal seme della sessione, se presente) e calcola il punteggio autonomamente; ignora qualsiasi indicazione di risposta giusta o sbagliata mostrata dalla pagina. Un registro che viola le regole del gioco viene rifiutato e non viene salvato nulla. Le sessioni salvate possono includere indicatori di qualità che non vengono mai mostrati e non impediscono mai di ottenere un risultato: 10 o più sessioni dallo stesso indirizzo IP, ID visitatore mancante, cambi di scheda e segnali di automazione (browser automatizzato, velocità impossibile, assenza di eventi di input, tempi regolari come quelli di una macchina).

Differenze rispetto al compito classico

I test a risposta sì/no con pseudoparole risalgono a Meara e Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) è un test fisso di 60 elementi con un punteggio percentuale convalidato; Brysbaert et al. (2016) hanno stimato l'ampiezza del vocabolario usando un enorme insieme di dati online sulla conoscenza delle parole, un dizionario diverso e una definizione più ampia di cosa significhi conoscere una parola. Questo metodo di stima, le sue liste e il suo formato in due fasi sono nuovi e non sono stati calibrati in modo indipendente. L'unità di misura è costituita da lemmi scritti distinti, non da famiglie di parole come nel Vocabulary Size Test di Nation.

Limiti

Autovalutazione: le persone differiscono nella facilità con cui indicano di conoscere una parola e le pseudoparole correggono il problema solo in parte. Le dimensioni delle fasce si basano su campioni esaminati, non su un conteggio completo del dizionario. Le liste e le dimensioni delle fasce variano tra le lingue, quindi le stime non sono confrontabili tra lingue. Interessi specialistici e familiarità con parti delle parole modificano il risultato. Ricordare parole di una sessione precedente modifica i risultati successivi. Il test non misura l'intelligenza, la fluidità o la salute. I partecipanti di confronto sono visitatori del sito, non campioni normativi della popolazione.

Lingue e stato della revisione

Inglese (due fasi), oltre a tedesco, spagnolo, francese, italiano, polacco, portoghese e russo (una fase); nelle altre lingue del sito viene mostrato il test inglese. Parole autentiche: lemmi di Wiktionary (tramite kaikki.org) ordinati per frequenza d'uso (wordfreq 3.1.1), con un campione per fascia verificato manualmente; condivisi con licenza CC BY-SA 4.0, come richiesto dalla licenza. Le pseudoparole sono state create per ciascuna lista in base agli schemi delle sue lettere e verificate manualmente.