Proba de vocabulario: método

Que mide

Tamaño do vocabulario receptivo (de recoñecemento), en lemas, mediante autoinforme corrixido polos falsos positivos ante pseudopalabras. Non mide o coñecemento de definicións, a produción nin o dominio da lingua.

Procedemento

Inglés (método en-adaptive-1, lista en-1): o paso 1 é unha grella de 40 elementos: 5 palabras aleatorias de cada unha das 7 bandas de frecuencia, máis 5 pseudopalabras, en orde aleatoria; o participante marca as palabras que coñece («podería explicar polo menos un significado»). O paso 2 é unha grella de 60 elementos novos: 4 palabras novas por banda, 25 palabras adicionais colocadas arredor da banda na que a proporción corrixida de palabras coñecidas no paso 1 máis se achega ao 50% (os pesos redúcense á metade con cada banda de distancia) e 7 pseudopalabras novas. Non se repite ningunha palabra. Sen límite de tempo; pódense cambiar as marcas antes de enviar cada paso. Preguntas opcionais despois do resultado: grupo de idade, falante nativo ou estudante, anos de aprendizaxe, frecuencia de lectura. Alemán, español, francés, italiano, polaco, portugués e ruso (listas *-1): preséntase unha palabra cada vez, 10 palabras aleatorias de cada unha das 6 bandas de frecuencia (60 palabras reais) e 30 pseudopalabras, en orde aleatoria (90 elementos); o participante responde «Coñézoa» ou «Inventada». Primeiro hai 2 palabras reais e 2 pseudopalabras de práctica, con comentarios (pódense saltar). Sen límite de tempo; saír da pestana non remata a proba.

Parámetros

Puntuación

Para cada franxa b: h = proporción de palabras reais da franxa marcadas como coñecidas (en inglés: só as palabras step-2, polo que a selección adaptativa non sesga a estimación); f = proporción de pseudopalabras marcadas como coñecidas (en inglés: as 12 de ambos os pasos). A proporción coñecida p = (h − f) / (1 − f), limitada ao intervalo de 0 a 1 (0 se f = 1). Estimación = suma, para todas as franxas, do tamaño da franxa x p; redondéase ao múltiplo de 100 máis próximo e limítase ao tamaño da lista; un valor maior indica un vocabulario máis amplo. Rango, inglés: 90% central de 4,000 simulacións (distribucións a priori Beta de Jeffreys para a taxa de acertos de cada franxa, unha mostraxe Beta compartida para a taxa de falsas alarmas e incerteza Beta no tamaño de cada franxa a partir da revisión orixinal de 70 candidatas), ampliado para incluír a estimación; se f = 1, o rango abrangue toda a lista. Rango, outras linguas: máis ou menos 1.645 erros estándar binomiais sumados entre as franxas. Para as outras linguas tamén se calcula unha precisión ao estilo LexTALE = media da porcentaxe de palabras reais aceptadas e da porcentaxe de pseudopalabras rexeitadas. Percentís en inglés: proporción de xogadores aptos cuxa estimación é estritamente inferior (método e lista actuais, resultados fiables, non probablemente automatizados, primeiro intento apto por xogador); só se mostran para grupos de polo menos 100; nos demais casos, móstranse como contexto cifras de investigación publicadas.

Regras para que unha execución sexa válida

O servidor reconstrúe os elementos a partir da semente da partida (a páxina nunca sabe que elementos son reais, agás durante a práctica). Hai que responder todos os elementos; o formato inglés de dous pasos require exactamente 40 e 60 respostas e non se pode mesturar co formato dun paso. Os resultados con demasiadas pseudopalabras marcadas como coñecidas considéranse pouco fiables e non reciben percentil. O servidor reconstrúe cada partida a partir do rexistro en bruto (e da semente, se a hai) e calcula a puntuación; ignórase calquera indicación da páxina sobre se unha resposta é correcta ou incorrecta. Rexéitase o rexistro que infrinxe as regras do xogo e non se garda nada. As partidas gardadas poden ter indicadores de calidade que nunca se amosan nin impiden obter un resultado: 10 ou máis partidas desde un mesmo enderezo IP, falta dun identificador de visitante, cambios de pestana e sinais de automatización (navegador automatizado, velocidade imposible, ausencia de eventos de entrada, tempos con regularidade mecánica).

Diferenzas respecto da tarefa clásica

As probas de si/non con pseudopalabras remóntanse a Meara e Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) é unha proba fixa de 60 elementos cunha puntuación porcentual validada; Brysbaert et al. (2016) estimaron o tamaño do vocabulario a partir dun conxunto de datos en liña moi amplo sobre coñecemento de palabras, cun dicionario diferente e un criterio máis flexible para considerar que se coñece unha palabra. Este estimador, as súas listas e o seu deseño en dous pasos son novos e non se calibraron de maneira independente. A unidade son lemas escritos distintos, non familias de palabras como na Vocabulary Size Test de Nation.

Limitacións

Autoinforme: as persoas difiren na facilidade con que marcan unha palabra como coñecida, e as pseudopalabras só corrixen parcialmente esta diferenza. Os tamaños das bandas proceden de mostras revisadas, non dun reconto completo de dicionario. As listas e os tamaños das bandas varían entre linguas, polo que as estimacións non son comparables entre elas. Os intereses especializados e as partes das palabras coñecidas alteran o resultado. Lembrar palabras dunha partida anterior cambia os resultados posteriores. Non mide a intelixencia, a fluidez nin a saúde. As persoas de comparación son visitantes do sitio, non referencias normativas da poboación.

Linguas e estado da revisión

Inglés (dous pasos), ademais de alemán, español, francés, italiano, polaco, portugués e ruso (un paso); nas demais linguas do sitio móstrase a proba en inglés. Palabras reais: lemas de Wiktionary (a través de kaikki.org) ordenados pola frecuencia das palabras (wordfreq 3.1.1), cunha mostra revisada manualmente por banda; distribúense con licenza CC BY-SA 4.0, tal como esixe a licenza. As pseudopalabras creáronse para cada lista a partir dos seus patróns de letras e revisáronse manualmente.