Teste de vocabulário: método

O que mede

Tamanho do vocabulário receptivo (de reconhecimento), em lemas, por autorrelato corrigido para falsos alarmes diante de pseudopalavras. Não mede conhecimento de definições, produção ou proficiência no idioma.

Procedimento

Inglês (método en-adaptive-1, lista en-1): a etapa 1 consiste em uma grade de 40 itens: 5 palavras aleatórias de cada uma das 7 faixas de frequência, mais 5 pseudopalavras, em ordem aleatória; o jogador marca as palavras que conhece (‘conseguiria explicar pelo menos um significado’). A etapa 2 consiste em uma grade de 60 itens novos: 4 palavras novas por faixa, 25 palavras extras distribuídas em torno da faixa em que a proporção corrigida de palavras conhecidas na etapa 1 fica mais perto de 50% (os pesos caem pela metade a cada faixa de distância) e 7 pseudopalavras novas. Nenhuma palavra se repete. Sem limite de tempo; as marcações podem ser alteradas antes do envio de cada etapa. Perguntas opcionais após o resultado: faixa etária, falante nativo ou aprendiz, anos de estudo e frequência de leitura. Alemão, espanhol, francês, italiano, polonês, português e russo (listas *-1): uma palavra por vez, 10 palavras aleatórias de cada uma das 6 faixas de frequência (60 palavras reais) mais 30 pseudopalavras, em ordem aleatória (90 itens); o jogador responde “Conheço” ou “Inventada”. Primeiro, 2 palavras reais e 2 pseudopalavras de prática, com feedback (podem ser puladas). Sem limite de tempo; sair da aba não encerra a sessão.

Parâmetros

Pontuação

Para cada faixa b: h = proporção das palavras reais da faixa marcadas como conhecidas (em inglês, somente palavras step-2, para que a escolha adaptativa não distorça a estimativa); f = proporção das pseudopalavras marcadas como conhecidas (em inglês, todas as 12 das duas etapas). Proporção conhecida p = (h − f) / (1 − f), limitada ao intervalo de 0 a 1 (0 se f = 1). Estimativa = soma, entre as faixas, do tamanho da faixa x p, arredondada para 100 e limitada ao tamanho da lista; um valor maior indica vocabulário maior. Intervalo, inglês: 90% centrais de 4,000 simulações (distribuições a posteriori Beta de Jeffreys para a taxa de acertos de cada faixa, uma única amostra Beta compartilhada para a taxa de falsos alarmes e incerteza Beta sobre o tamanho de cada faixa com base na revisão original de 70 candidatos), ampliados para incluir a estimativa; quando f = 1, o intervalo corresponde à lista inteira. Intervalo, outros idiomas: mais ou menos 1.645 erros padrão binomiais somados entre as faixas. Outros idiomas também recebem uma precisão no estilo LexTALE = média da porcentagem de palavras reais aceitas e da porcentagem de pseudopalavras rejeitadas. Percentis em inglês: proporção de jogadores elegíveis com resultado estritamente inferior à estimativa (método e lista atuais, resultados confiáveis, sem provável automação, primeira tentativa elegível por jogador), exibida somente para grupos de pelo menos 100; caso contrário, são apresentados números de pesquisas publicadas como referência.

Regras para uma execução válida

O servidor reconstrói os itens a partir da semente da sessão (a página nunca recebe informação sobre quais itens são reais, exceto na prática). É preciso responder a todos os itens; o formato inglês de duas etapas exige exatamente 40 e 60 respostas e não pode ser combinado com o formato de uma etapa. Resultados com muitas pseudopalavras marcadas como conhecidas são sinalizados como pouco confiáveis e não recebem percentil. O servidor reconstrói cada sessão a partir do registro bruto (e da semente da sessão, quando houver) e calcula a pontuação por conta própria; qualquer indicação da página sobre respostas certas ou erradas é ignorada. Um registro que viole as regras do jogo é rejeitado, e nada é armazenado. As sessões armazenadas podem receber sinalizadores de qualidade que nunca são exibidos nem impedem um resultado: 10 ou mais sessões de um mesmo endereço IP, ausência de id de visitante, trocas de aba e sinais de automação (navegador automatizado, velocidade impossível, ausência de eventos de entrada e intervalos regulares típicos de máquina).

Diferenças em relação à tarefa clássica

Testes de sim/não com pseudopalavras remontam a Meara and Buxton (1987). O LexTALE (Lemhöfer & Broersma 2012) é um teste fixo de 60 itens com pontuação percentual validada; Brysbaert et al. (2016) estimaram o tamanho do vocabulário com um conjunto de dados on-line muito amplo sobre conhecimento de palavras, usando outro dicionário e uma noção mais flexível do que significa conhecer uma palavra. Este estimador, suas listas e seu formato em duas etapas são novos e ainda não foram calibrados de forma independente. A unidade são lemas escritos distintos, não famílias de palavras como no Vocabulary Size Test de Nation.

Limitações

Autorrelato: as pessoas diferem na facilidade com que marcam uma palavra como conhecida, e as pseudopalavras corrigem isso apenas em parte. O tamanho das faixas é baseado em amostras revisadas, não na contagem de um dicionário completo. As listas e o tamanho das faixas variam entre idiomas, portanto as estimativas não são comparáveis entre idiomas. Interesses especializados e familiaridade com partes das palavras alteram o resultado. Lembrar palavras de uma sessão anterior altera os resultados posteriores. O teste não mede inteligência, fluência nem saúde. Os jogadores usados na comparação são visitantes do site, não normas populacionais.

Idiomas e estado da revisão

Inglês (duas etapas), além de alemão, espanhol, francês, italiano, polonês, português e russo (uma etapa); nos demais idiomas do site, é exibido o teste em inglês. Palavras reais: lemas do Wiktionary (via kaikki.org) classificados pela frequência das palavras (wordfreq 3.1.1), com uma amostra de cada faixa revisada manualmente; compartilhados sob a licença CC BY-SA 4.0, conforme exigido pela licença. As pseudopalavras foram criadas para cada lista com base nos padrões de letras do idioma e revisadas manualmente.