Mètode de Prova de vocabulari

Què mesura

Mida del vocabulari receptiu (de reconeixement) en lemes, segons autoinforme corregit per les falses alarmes davant de pseudoparaules. No mesura el coneixement de definicions, la producció ni el domini de la llengua.

Procediment

Anglès (mètode en-adaptive-1, llista en-1): el pas 1 és una graella de 40 elements: 5 paraules triades a l'atzar de cadascuna de les 7 franges de freqüència i 5 pseudoparaules, en ordre aleatori; el participant marca les paraules que coneix («en podria explicar almenys un significat»). El pas 2 és una graella de 60 elements nous: 4 paraules noves per franja, 25 paraules addicionals situades al voltant de la franja en què la proporció corregida de paraules conegudes al pas 1 és més propera al 50% (el pes es redueix a la meitat amb cada franja de distància) i 7 pseudoparaules noves. No es repeteix cap paraula. Sense límit de temps; es poden canviar les marques abans d'enviar cada pas. Preguntes opcionals després del resultat: grup d'edat, si és parlant nadiu o aprenent, anys d'aprenentatge i freqüència de lectura. Alemany, espanyol, francès, italià, polonès, portuguès i rus (llistes *-1): una paraula cada vegada, 10 paraules triades a l'atzar de cadascuna de les 6 franges de freqüència (60 paraules reals) i 30 pseudoparaules, en ordre aleatori (90 elements); el participant respon «La conec» o «Inventada». Primer es presenten 2 paraules reals i 2 pseudoparaules de pràctica, amb comentaris (es poden ometre). Sense límit de temps; sortir de la pestanya no posa fi a la prova.

Paràmetres

Puntuació

Per a cada franja b: h = proporció de paraules reals de la franja marcades com a conegudes (en anglès, només les paraules de step-2, de manera que l'elecció adaptativa no distorsiona l'estimació); f = proporció de pseudoparaules marcades com a conegudes (en anglès, les 12 dels dos passos). Proporció de paraules conegudes p = (h − f) / (1 − f), limitada a un valor entre 0 i 1 (0 si f = 1). Estimació = suma, per a totes les franges, de la mida de la franja x p, arrodonida a 100 i limitada a la mida de la llista; com més alta és, més gran és el vocabulari. Interval, anglès: el 90% central de 4,000 simulacions (distribucions a posteriori Beta de Jeffreys per a la taxa d'encerts de cada franja, una única extracció compartida d'una distribució Beta per a la taxa de falses alarmes i incertesa Beta sobre la mida de cada franja a partir de la revisió original de 70 candidats), ampliat per incloure l'estimació; si f = 1, l'interval és tota la llista. Interval, altres llengües: suma de més o menys 1.645 errors estàndard binomials de cada franja. Per a les altres llengües també es calcula una precisió a l'estil de LexTALE = mitjana del percentatge de paraules reals acceptades i del percentatge de pseudoparaules rebutjades. Percentils d'anglès: proporció de participants aptes amb una estimació estrictament inferior (mètode i llista actuals, resultats fiables, probablement no automatitzats, primer intent apte de cada participant); només es mostren per a grups d'almenys 100 persones. En cas contrari, es mostren com a context xifres de recerques publicades.

Criteris per a una execució vàlida

El servidor reconstrueix els elements a partir de la llavor de la prova (la pàgina no rep informació sobre quins elements són reals, tret dels de pràctica). Cal respondre tots els elements; el format anglès de dos passos requereix exactament 40 i 60 respostes i no es pot combinar amb el format d'un sol pas. Els resultats amb massa pseudoparaules marcades com a conegudes es consideren poc fiables i no reben cap percentil. El servidor reconstrueix cada prova a partir del registre en brut (i de la llavor, si n'hi ha) i calcula la puntuació; ignora qualsevol indicació de la pàgina sobre si una resposta és correcta o incorrecta. Es rebutja qualsevol registre que infringeixi les regles del joc, i no se'n desa res. Les proves desades poden tenir indicadors de qualitat que mai no es mostren ni impedeixen obtenir un resultat: 10 proves o més des d'una mateixa adreça IP, identificador de visitant absent, canvis de pestanya i senyals d'automatització (navegador automatitzat, velocitat impossible, absència d'esdeveniments d'entrada o temps entre accions regular com el d'una màquina).

Diferències respecte de la tasca clàssica

Les proves de sí/no amb pseudoparaules es remunten a Meara i Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) és una prova fixa de 60 elements amb una puntuació percentual validada; Brysbaert et al. (2016) van estimar la mida del vocabulari a partir d'un conjunt de dades molt ampli sobre coneixement de paraules recollit en línia, amb un diccionari diferent i una definició més àmplia del que vol dir conèixer una paraula. Aquest estimador, les seves llistes i el seu disseny en dos passos són nous i no s'han calibrat de manera independent. La unitat són els lemes escrits diferents, no les famílies de paraules com a la Prova de mida del vocabulari de Nation.

Limitacions

Autoinforme: les persones difereixen en la facilitat amb què marquen una paraula com a coneguda, i les pseudoparaules només ho corregeixen parcialment. La mida de les franges es basa en mostres revisades, no en un recompte complet del diccionari. Les llistes i la mida de les franges varien entre llengües, així que no es poden comparar les estimacions entre llengües. Els interessos especialitzats i la familiaritat amb parts de les paraules influeixen en el resultat. Recordar paraules d'una prova anterior modifica els resultats posteriors. No mesura la intel·ligència, la fluïdesa ni la salut. Els participants de comparació són visitants del lloc, no una mostra normativa de la població.

Llengües i estat de revisió

Anglès (dos passos) i alemany, espanyol, francès, italià, polonès, portuguès i rus (un pas); en les altres llengües del lloc es mostra la prova d'anglès. Paraules reals: lemes de Wiktionary (a través de kaikki.org) ordenats per freqüència (wordfreq 3.1.1), amb una mostra de cada franja revisada manualment; compartits amb llicència CC BY-SA 4.0, tal com exigeix la llicència. Les pseudoparaules s'han creat per a cada llista a partir dels seus patrons de lletres i s'han revisat manualment.