Test de vocabulaire : méthode

Ce que mesure le test

Taille du vocabulaire réceptif (reconnaissance) en lemmes, évaluée par auto-déclaration et corrigée pour les fausses alarmes aux pseudomots. Ne mesure ni la connaissance des définitions, ni la production, ni la maîtrise de la langue.

Procédure

Anglais (méthode en-adaptive-1, liste en-1) : étape 1, une grille de 40 éléments : 5 mots tirés au hasard dans chacune des 7 tranches de fréquence, plus 5 pseudomots, mélangés ; le joueur coche les mots qu'il connaît (« pourrait expliquer au moins un sens »). Étape 2, une grille de 60 nouveaux éléments : 4 nouveaux mots par tranche, 25 mots supplémentaires placés autour de la tranche où la proportion corrigée de mots connus à l'étape 1 est la plus proche de 50% (le poids est divisé par deux pour chaque tranche d'écart), et 7 nouveaux pseudomots. Aucun mot n'est répété. Sans limite de temps ; les cases cochées peuvent être modifiées avant l'envoi de chaque étape. Questions facultatives après le résultat : tranche d'âge, langue maternelle ou langue apprise, années d'apprentissage, fréquence de lecture. Allemand, espagnol, français, italien, polonais, portugais et russe (listes *-1) : un mot à la fois, 10 mots tirés au hasard dans chacune des 6 tranches de fréquence (60 mots réels) plus 30 pseudomots, mélangés (90 éléments) ; le joueur répond « Je le connais » ou « Inventé ». D'abord, 2 mots réels et 2 pseudomots d'entraînement avec retour d'information (possibilité de passer). Sans limite de temps ; quitter l'onglet ne met pas fin à la session.

Paramètres

Notation

Pour chaque tranche b : h = proportion des mots réels de la tranche cochés comme connus (anglais : mots step-2 uniquement, afin que le choix adaptatif ne fausse pas l'estimation) ; f = proportion des pseudomots cochés comme connus (anglais : les 12 des deux étapes). La proportion connue p = (h − f) / (1 − f), limitée à l'intervalle de 0 à 1 (0 si f = 1). Estimation = somme, sur les tranches, de la taille de la tranche x p, arrondie à 100 et limitée à la taille de la liste ; une valeur plus élevée indique un vocabulaire plus étendu. Fourchette, anglais : 90% central de 4,000 tirages simulés (lois a priori Beta de Jeffreys pour le taux de réponses correctes de chaque tranche, un tirage Beta partagé pour le taux de fausses alarmes, et incertitude Beta sur la taille de chaque tranche à partir de l'examen initial de 70 candidats), élargie pour inclure l'estimation ; si f = 1, la fourchette couvre toute la liste. Fourchette, autres langues : plus ou moins 1.645 erreurs-types binomiales additionnées sur les tranches. Pour les autres langues, une exactitude de type LexTALE est également calculée = moyenne du pourcentage de mots réels acceptés et du pourcentage de pseudomots rejetés. Centiles en anglais : proportion des joueurs admissibles dont le résultat est strictement inférieur à l'estimation (méthode et liste actuelles, résultats fiables, probablement pas automatisés, première tentative admissible par joueur), affichée uniquement pour les groupes d'au moins 100 personnes ; sinon, des chiffres issus d'études publiées sont présentés à titre de contexte.

Critères de validité d’une session

Le serveur reconstitue les éléments à partir de la graine de la session (la page ne sait jamais quels éléments sont des mots réels, sauf pendant l'entraînement). Il faut répondre à chaque élément ; le format anglais en deux étapes exige exactement 40 et 60 réponses et ne peut pas être mélangé au format en une étape. Les résultats comportant trop de pseudomots cochés comme connus sont signalés comme incertains et n'ont pas de centile. Le serveur reconstitue chaque session à partir du journal brut (et de la graine de session, le cas échéant) et calcule lui-même le score ; les indications de la page sur les réponses justes ou fausses sont ignorées. Un journal qui enfreint les règles du jeu est rejeté et rien n'est enregistré. Les sessions enregistrées peuvent recevoir des indicateurs de qualité qui ne sont jamais affichés et n'empêchent jamais l'obtention d'un résultat : 10 sessions ou plus depuis une même adresse IP, identifiant visiteur manquant, changements d'onglet et signaux d'automatisation (navigateur automatisé, vitesse impossible, absence d'événements de saisie, rythme régulier caractéristique d'une machine).

Différences par rapport à la tâche classique

Les tests par réponses oui/non avec des pseudomots remontent à Meara et Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) est un test fixe de 60 éléments avec un score en pourcentage validé ; Brysbaert et al. (2016) ont estimé la taille du vocabulaire à partir d'un très grand jeu de données en ligne sur la connaissance des mots, avec un dictionnaire différent et une définition moins stricte du fait de connaître un mot. Cet estimateur, ses listes et sa conception en deux étapes sont nouveaux et n'ont pas été étalonnés indépendamment. L'unité est le lemme écrit distinct, et non les familles de mots comme dans le Vocabulary Size Test de Nation.

Limites

Auto-déclaration : les personnes ne cochent pas toutes de la même façon un mot qu'elles connaissent, et les pseudomots ne corrigent ce biais qu'en partie. La taille des tranches est calculée à partir d'échantillons examinés, et non d'un décompte complet du dictionnaire. Les listes et la taille des tranches varient selon les langues ; les estimations ne sont donc pas comparables d'une langue à l'autre. Les centres d'intérêt spécialisés et la familiarité avec certaines parties des mots influencent le résultat. Se souvenir de mots d'une session précédente modifie les résultats ultérieurs. Ce test ne mesure ni l'intelligence, ni l'aisance, ni la santé. Les joueurs de comparaison sont des visiteurs du site, et non un échantillon représentatif de la population.

Langues et état de la révision

Anglais (deux étapes), ainsi qu'allemand, espagnol, français, italien, polonais, portugais et russe (une étape) ; les autres langues du site proposent le test en anglais. Mots réels : lemmes de Wiktionary (via kaikki.org), classés par fréquence des mots (wordfreq 3.1.1), avec un échantillon de chaque tranche vérifié manuellement ; partagés sous licence CC BY-SA 4.0, conformément aux exigences de la licence. Les pseudomots sont créés pour chaque liste à partir de ses modèles de lettres et vérifiés manuellement.