Τεστ λεξιλογίου: μεθοδολογία

Τι μετρά

Μέγεθος προσληπτικού λεξιλογίου (αναγνώρισης) σε λήμματα, βάσει αυτοαναφοράς διορθωμένης για τους ψευδείς συναγερμούς σε ψευδολέξεις. Δεν μετρά τη γνώση ορισμών, την παραγωγή λόγου ή τη γλωσσική επάρκεια.

Διαδικασία

Αγγλικά (μέθοδος en-adaptive-1, λίστα en-1): το βήμα 1 είναι πλέγμα 40 στοιχείων: 5 τυχαίες λέξεις από καθεμία από τις 7 ζώνες συχνότητας και 5 ψευδολέξεις, σε τυχαία σειρά· ο παίκτης σημειώνει τις λέξεις που γνωρίζει («θα μπορούσα να εξηγήσω τουλάχιστον μία σημασία»). Το βήμα 2 είναι πλέγμα 60 νέων στοιχείων: 4 καινούργιες λέξεις ανά ζώνη, 25 επιπλέον λέξεις γύρω από τη ζώνη όπου το διορθωμένο ποσοστό γνωστών λέξεων στο βήμα 1 είναι πλησιέστερο στο 50% (τα βάρη υποδιπλασιάζονται για κάθε ζώνη απόστασης) και 7 νέες ψευδολέξεις. Δεν επαναλαμβάνεται καμία λέξη. Χωρίς χρονικό όριο· οι επιλογές μπορούν να αλλάξουν πριν από την υποβολή κάθε βήματος. Προαιρετικές ερωτήσεις μετά το αποτέλεσμα: ηλικιακή ομάδα, φυσικός ομιλητής ή μαθητευόμενος, έτη εκμάθησης, συχνότητα ανάγνωσης. Γερμανικά, ισπανικά, γαλλικά, ιταλικά, πολωνικά, πορτογαλικά και ρωσικά (λίστες *-1): μία λέξη κάθε φορά, 10 τυχαίες λέξεις από καθεμία από τις 6 ζώνες συχνότητας (60 υπαρκτές λέξεις) και 30 ψευδολέξεις, σε τυχαία σειρά (90 στοιχεία)· ο παίκτης απαντά «Τη γνωρίζω» ή «Είναι επινοημένη». Πρώτα δίνονται 2 υπαρκτές λέξεις εξάσκησης και 2 ψευδολέξεις εξάσκησης με ανατροφοδότηση (μπορούν να παραλειφθούν). Χωρίς χρονικό όριο· η αποχώρηση από την καρτέλα δεν τερματίζει τη δοκιμασία.

Παράμετροι

Βαθμολόγηση

Για κάθε ζώνη b: h = ποσοστό των υπαρκτών λέξεων της ζώνης που σημειώθηκαν ως γνωστές (στα αγγλικά, μόνο οι λέξεις step-2, ώστε η προσαρμοστική επιλογή να μην επηρεάζει την εκτίμηση)· f = ποσοστό των ψευδολέξεων που σημειώθηκαν ως γνωστές (στα αγγλικά, και οι 12 από τα δύο βήματα). Το γνωστό ποσοστό p = (h − f) / (1 − f), με τιμή από 0 έως 1 (0 αν f = 1). Εκτίμηση = άθροισμα, για όλες τις ζώνες, του μεγέθους ζώνης x p, στρογγυλοποιημένο στο 100 και με ανώτατο όριο το μέγεθος της λίστας· υψηλότερη τιμή σημαίνει μεγαλύτερο λεξιλόγιο. Εύρος, αγγλικά: κεντρικό 90% από 4,000 προσομοιωμένες δειγματοληψίες (εκ των υστέρων κατανομές Beta Jeffreys για το ποσοστό επιτυχίας κάθε ζώνης, μία κοινή δειγματοληψία Beta για το ποσοστό ψευδών συναγερμών και αβεβαιότητα Beta για το μέγεθος κάθε ζώνης, βάσει της αρχικής αξιολόγησης 70 υποψηφίων), διευρυμένο ώστε να περιλαμβάνει την εκτίμηση· όταν f = 1, το εύρος είναι ολόκληρη η λίστα. Εύρος, άλλες γλώσσες: συν ή πλην 1.645 διωνυμικά τυπικά σφάλματα, αθροισμένα σε όλες τις ζώνες. Για τις άλλες γλώσσες υπολογίζεται επίσης ακρίβεια τύπου LexTALE = μέσος όρος του ποσοστού αποδοχής υπαρκτών λέξεων και του ποσοστού απόρριψης ψευδολέξεων. Εκατοστημόρια αγγλικών: ποσοστό των επιλέξιμων παικτών με αποτέλεσμα αυστηρά χαμηλότερο από την εκτίμηση (τρέχουσα μέθοδος και λίστα, αξιόπιστα αποτελέσματα, χωρίς ενδείξεις αυτοματοποίησης, πρώτη επιλέξιμη προσπάθεια ανά παίκτη), εμφανίζονται μόνο για ομάδες τουλάχιστον 100 ατόμων· διαφορετικά, παρουσιάζονται ως πλαίσιο στοιχεία από δημοσιευμένη έρευνα.

Κανόνες έγκυρης εκτέλεσης

Ο διακομιστής αναδημιουργεί τα στοιχεία από τον σπόρο της δοκιμασίας (η σελίδα δεν αποκαλύπτει ποια στοιχεία είναι υπαρκτά, παρά μόνο στην εξάσκηση). Πρέπει να απαντηθούν όλα τα στοιχεία· η αγγλική μορφή δύο βημάτων απαιτεί ακριβώς 40 και 60 απαντήσεις και δεν μπορεί να συνδυαστεί με τη μορφή ενός βήματος. Τα αποτελέσματα με υπερβολικά πολλές ψευδολέξεις σημειωμένες ως γνωστές χαρακτηρίζονται αβέβαια και δεν λαμβάνουν εκατοστημόριο. Ο διακομιστής αναδημιουργεί κάθε δοκιμασία από το αρχικό αρχείο καταγραφής (και τον σπόρο της, αν υπάρχει) και υπολογίζει ο ίδιος τη βαθμολογία· αγνοούνται όσα αναφέρει η σελίδα ως σωστά ή λανθασμένα. Το αρχείο καταγραφής απορρίπτεται αν παραβιάζει τους κανόνες του παιχνιδιού και δεν αποθηκεύεται τίποτα. Οι αποθηκευμένες δοκιμασίες μπορεί να φέρουν δείκτες ποιότητας που δεν εμφανίζονται ποτέ και δεν εμποδίζουν την προβολή αποτελέσματος: 10 ή περισσότερες δοκιμασίες από μία διεύθυνση IP, απουσία αναγνωριστικού επισκέπτη, εναλλαγές καρτελών και ενδείξεις αυτοματοποίησης (αυτοματοποιημένο πρόγραμμα περιήγησης, αδύνατη ταχύτητα, απουσία συμβάντων εισόδου, μηχανικά τακτικός χρονισμός).

Διαφορές από την κλασική δοκιμασία

Οι δοκιμασίες ναι/όχι με ψευδολέξεις ανάγονται στους Meara and Buxton (1987). Το LexTALE (Lemhöfer & Broersma 2012) είναι σταθερή δοκιμασία 60 στοιχείων με επικυρωμένη ποσοστιαία βαθμολογία· οι Brysbaert et al. (2016) εκτίμησαν το μέγεθος λεξιλογίου από ένα πολύ μεγάλο διαδικτυακό σύνολο δεδομένων γνώσης λέξεων, με διαφορετικό λεξικό και πιο χαλαρό ορισμό της γνώσης μιας λέξης. Η παρούσα μέθοδος εκτίμησης, οι λίστες της και ο σχεδιασμός δύο βημάτων είναι νέοι και δεν έχουν βαθμονομηθεί ανεξάρτητα. Η μονάδα μέτρησης είναι τα διακριτά γραπτά λήμματα, όχι οι οικογένειες λέξεων όπως στη Δοκιμασία Μεγέθους Λεξιλογίου του Nation.

Περιορισμοί

Αυτοαναφορά: οι άνθρωποι διαφέρουν ως προς το πόσο εύκολα σημειώνουν μια λέξη ως γνωστή και οι ψευδολέξεις διορθώνουν αυτή τη διαφορά μόνο εν μέρει. Τα μεγέθη των ζωνών βασίζονται σε αξιολογημένα δείγματα, όχι σε καταμέτρηση ολόκληρου λεξικού. Οι λίστες και τα μεγέθη των ζωνών διαφέρουν μεταξύ γλωσσών, επομένως οι εκτιμήσεις δεν είναι συγκρίσιμες μεταξύ γλωσσών. Τα ειδικά ενδιαφέροντα και τα οικεία μέρη λέξεων επηρεάζουν το αποτέλεσμα. Η ανάμνηση λέξεων από προηγούμενη δοκιμασία επηρεάζει μεταγενέστερα αποτελέσματα. Το τεστ δεν μετρά την ευφυΐα, την ευχέρεια ή την υγεία. Οι παίκτες σύγκρισης είναι επισκέπτες του ιστότοπου, όχι αντιπροσωπευτικές πληθυσμιακές νόρμες.

Γλώσσες και κατάσταση ελέγχου

Αγγλικά (δύο βήματα), καθώς και γερμανικά, ισπανικά, γαλλικά, ιταλικά, πολωνικά, πορτογαλικά και ρωσικά (ένα βήμα)· στις άλλες γλώσσες του ιστότοπου εμφανίζεται το αγγλικό τεστ. Υπαρκτές λέξεις: λήμματα του Wiktionary (μέσω kaikki.org), ταξινομημένα βάσει συχνότητας λέξεων (wordfreq 3.1.1), με δείγμα από κάθε ζώνη ελεγμένο χειροκίνητα· διατίθενται με άδεια CC BY-SA 4.0, όπως απαιτεί η άδεια. Οι ψευδολέξεις δημιουργήθηκαν για κάθε λίστα με βάση τα μοτίβα γραμμάτων της και ελέγχθηκαν χειροκίνητα.