Kelime dağarcığı testi: yöntem

Ölçtüğü şey

Kişinin bildirimine dayanan ve uydurma kelimelere verilen yanlış olumlu yanıtlar düzeltilerek ölçülen, alımlayıcı (tanıma) kelime dağarcığı büyüklüğü (lemma sayısı). Tanımları bilme, kelime üretme veya dil yeterliliği ölçülmez.

Uygulama

İngilizce (yöntem en-adaptive-1, liste en-1): 1. adımda 40 maddelik bir tablo sunulur: 7 sıklık grubunun her birinden rastgele seçilmiş 5 kelime ve 5 uydurma kelime karıştırılır; oyuncu bildiği kelimeleri ('en az bir anlamını açıklayabilirim') işaretler. 2. adımda 60 yeni maddelik bir tablo sunulur: her gruptan 4 yeni kelime, 1. adımda düzeltilmiş bilinen kelime oranı %50'ye en yakın olan grubun çevresine yerleştirilen 25 ek kelime (ağırlık, gruptan uzaklaşıldıkça yarıya iner) ve 7 yeni uydurma kelime. Hiçbir kelime tekrarlanmaz. Süre sınırı yoktur; her adım gönderilmeden önce işaretler değiştirilebilir. Sonuçtan sonra isteğe bağlı sorular: yaş grubu, ana dili konuşuru ya da öğrenen olma, öğrenim yılı ve okuma sıklığı. Almanca, İspanyolca, Fransızca, İtalyanca, Lehçe, Portekizce ve Rusça (listeler *-1): her seferinde tek kelime gösterilir; 6 sıklık grubunun her birinden rastgele 10 kelime (60 gerçek kelime) ve karıştırılmış 30 uydurma kelime (90 madde) sunulur; oyuncu 'Biliyorum' ya da 'Uydurma' yanıtını verir. Önce geri bildirimli 2 gerçek kelime ve 2 uydurma kelimeyle alıştırma yapılır (atlanabilir). Süre sınırı yoktur; sekmeden ayrılmak denemeyi bitirmez.

Parametreler

Puanlama

Her sıklık grubu b için: h = o gruptaki gerçek kelimelerden bilindiği işaretlenenlerin oranı (İngilizce: yalnızca step-2 kelimeler; böylece uyarlamalı seçim tahmini yanlı hâle getirmez); f = bilindiği işaretlenen uydurma kelimelerin oranı (İngilizce: her iki adımdaki 12 kelimenin tamamı). Bilinen kelime oranı p = (h − f) / (1 − f); bu değer 0 ile 1 arasında tutulur (f = 1 ise 0). Tahmin = grupların büyüklükleri x p değerlerinin toplamı; en yakın 100'e yuvarlanır ve liste büyüklüğüyle sınırlandırılır. Daha yüksek değer, daha geniş bir kelime dağarcığına işaret eder. Aralık, İngilizce: 4,000 benzetimli çekilişin ortadaki %90'ı (her grubun doğru yanıt oranı için Jeffreys Beta sonsal dağılımları, yanlış olumlu yanıt oranı için ortak bir Beta çekilişi ve ilk 70 adaylı incelemeden elde edilen her grubun büyüklüğüne ilişkin Beta belirsizliği); tahmini kapsayacak şekilde genişletilir. f = 1 olduğunda aralık listenin tamamını kapsar. Diğer dillerde aralık: gruplar genelinde toplanan binom standart hatalarının 1.645 katı kadar artı veya eksi. Diğer dillerde ayrıca LexTALE tarzı doğruluk puanı verilir: kabul edilen gerçek kelimelerin yüzdesi ile reddedilen uydurma kelimelerin yüzdesinin ortalaması. İngilizce yüzdelik dilimleri: tahminin kesin olarak altında kalan uygun oyuncuların oranı (geçerli yöntem ve liste, güvenilir sonuçlar, muhtemelen otomatik değil, oyuncu başına ilk uygun deneme); yalnızca en az 100 kişilik gruplar için gösterilir, aksi hâlde yayımlanmış araştırma değerleri bağlam olarak sunulur.

Geçerli uygulama kuralları

Sunucu, denemedeki maddeleri kullanılan başlangıç değerinden yeniden oluşturur (hangi maddelerin gerçek olduğu, alıştırma dışında sayfaya hiçbir zaman aktarılmaz). Her madde yanıtlanmalıdır; İngilizce iki adımlı biçimde tam olarak 40 ve 60 yanıt gerekir ve bu biçim tek adımlı biçimle karıştırılamaz. Bilindiği işaretlenen uydurma kelime sayısı çok yüksek olan sonuçlar güvenilirliği düşük olarak işaretlenir ve yüzdelik dilim verilmez. Sunucu her denemeyi ham kayıttan (başlangıç değeri varsa onu da kullanarak) yeniden oluşturur ve puanı kendisi hesaplar; sayfanın doğru veya yanlış yanıtlar hakkındaki bildirimleri dikkate alınmaz. Oyunun kurallarını çiğneyen kayıt reddedilir ve hiçbir şey saklanmaz. Saklanan denemelere, hiçbir zaman gösterilmeyen ve sonucu engellemeyen kalite işaretleri eklenebilir: tek bir IP adresinden 10 veya daha fazla deneme, eksik ziyaretçi kimliği, sekme değiştirme ve otomasyon sinyalleri (otomatik tarayıcı, imkânsız hız, giriş olayı olmaması, makine düzeninde zamanlama).

Klasik görevden farkları

Uydurma kelimeler içeren evet/hayır testleri Meara ve Buxton'a (1987) dayanır. LexTALE (Lemhöfer & Broersma 2012), doğrulanmış yüzde puanı veren, sabit 60 maddelik bir testtir; Brysbaert ve diğerleri (2016), farklı bir sözlük ve kelime bilme konusunda daha geniş bir tanımla, çok büyük bir çevrimiçi kelime bilgisi veri kümesinden kelime dağarcığı büyüklüğünü tahmin etmiştir. Bu tahmin yöntemi, listeleri ve iki aşamalı tasarımı yenidir ve bağımsız olarak kalibre edilmemiştir. Ölçü birimi, Nation'ın Kelime Dağarcığı Büyüklüğü Testi'ndeki gibi kelime aileleri değil, birbirinden farklı yazılı lemmalardır.

Sınırlılıklar

Öz bildirime dayanır: insanların bir kelimeyi bildiğini işaretleme eşiği farklıdır; uydurma kelimeler bunu yalnızca kısmen düzeltir. Grup büyüklükleri, sözlüğün tamamı sayılarak değil, incelenmiş örneklerden elde edilmiştir. Listeler ve grup büyüklükleri diller arasında farklı olduğundan tahminler diller arasında karşılaştırılamaz. Uzmanlık alanları ve tanıdık kelime parçaları sonucu değiştirir. Önceki bir denemeden kelimeleri hatırlamak sonraki sonuçları değiştirir. Bu test zekâyı, akıcılığı veya sağlığı ölçmez. Karşılaştırmadaki oyuncular nüfusu temsil eden normlar değil, site ziyaretçileridir.

Diller ve inceleme durumu

İngilizce (iki adım) ile Almanca, İspanyolca, Fransızca, İtalyanca, Lehçe, Portekizce ve Rusça (tek adım); sitenin diğer dillerinde İngilizce test gösterilir. Gerçek kelimeler: kelime sıklığına göre sıralanmış Wiktionary lemmaları (kaikki.org aracılığıyla; wordfreq 3.1.1), her gruptan elle incelenmiş bir örneklemle birlikte; lisans gereği CC BY-SA 4.0 kapsamında paylaşılır. Uydurma kelimeler her liste için o dilin harf örüntülerinden üretilmiş ve elle incelenmiştir.