Metode: Tes kosakata

Hal yang diukur

Ukuran kosakata reseptif (pengenalan) dalam lema, berdasarkan laporan diri yang dikoreksi terhadap positif palsu pada kata semu. Bukan pengetahuan definisi, kemampuan menghasilkan kata, atau kemahiran berbahasa.

Prosedur

Bahasa Inggris (metode en-adaptive-1, daftar en-1): langkah 1 berupa kisi berisi 40 butir: 5 kata acak dari masing-masing 7 kelompok frekuensi ditambah 5 kata semu, diacak; pemain mencentang kata yang diketahui ('dapat menjelaskan setidaknya satu makna'). Langkah 2 berupa kisi berisi 60 butir baru: 4 kata baru per kelompok, 25 kata tambahan ditempatkan di sekitar kelompok yang persentase kata diketahui setelah koreksi pada langkah 1 paling mendekati 50% (bobotnya menjadi setengah untuk setiap kelompok yang lebih jauh), serta 7 kata semu baru. Tidak ada kata yang diulang. Tidak dibatasi waktu; centang dapat diubah sebelum setiap langkah dikirim. Pertanyaan opsional setelah hasil: kelompok usia, penutur asli atau pembelajar, lama belajar, frekuensi membaca. Bahasa Jerman, Spanyol, Prancis, Italia, Polandia, Portugis, dan Rusia (daftar *-1): satu kata setiap kali, 10 kata acak dari masing-masing 6 kelompok frekuensi (60 kata sungguhan) ditambah 30 kata semu, diacak (90 butir); pemain menjawab 'Saya tahu' atau 'Rekaan'. Mula-mula ada 2 kata sungguhan dan 2 kata semu untuk latihan disertai umpan balik (dapat dilewati). Tidak dibatasi waktu; meninggalkan tab tidak mengakhiri sesi.

Parameter

Penilaian

Untuk setiap kelompok b: h = proporsi kata sungguhan dalam kelompok yang ditandai diketahui (bahasa Inggris: hanya kata step-2, agar pemilihan adaptif tidak membiaskan perkiraan); f = proporsi kata semu yang ditandai diketahui (bahasa Inggris: semua 12 dari kedua langkah). Proporsi kata yang diketahui p = (h − f) / (1 − f), dibatasi antara 0 dan 1 (0 jika f = 1). Perkiraan = jumlah ukuran kelompok × p untuk semua kelompok, dibulatkan ke 100 terdekat dan dibatasi sebesar ukuran daftar; angka lebih tinggi berarti kosakata lebih besar. Rentang, bahasa Inggris: 90% bagian tengah dari 4,000 simulasi (distribusi posterior Beta Jeffreys untuk tingkat jawaban benar tiap kelompok, satu pengambilan distribusi Beta bersama untuk tingkat positif palsu, dan ketidakpastian Beta pada ukuran tiap kelompok berdasarkan tinjauan awal terhadap 70 calon kata), diperlebar agar mencakup perkiraan; jika f = 1, rentangnya mencakup seluruh daftar. Rentang, bahasa lain: ditambah atau dikurangi 1.645 galat baku binomial yang dijumlahkan untuk semua kelompok. Bahasa lain juga memperoleh akurasi bergaya LexTALE = rata-rata persentase kata sungguhan yang diterima dan persentase kata semu yang ditolak. Persentil bahasa Inggris: proporsi pemain yang memenuhi syarat dan skornya di bawah perkiraan secara ketat (metode dan daftar saat ini, hasil andal, kemungkinan bukan otomatis, percobaan pertama yang memenuhi syarat per pemain), hanya ditampilkan untuk kelompok berisi setidaknya 100 orang; jika tidak, angka dari penelitian yang dipublikasikan ditampilkan sebagai konteks.

Aturan percobaan valid

Server menyusun ulang butir berdasarkan seed sesi (butir mana yang sungguhan tidak pernah dikirim ke halaman, kecuali saat latihan). Setiap butir harus dijawab; format dua langkah bahasa Inggris memerlukan tepat 40 dan 60 jawaban serta tidak dapat dicampur dengan format satu langkah. Hasil dengan terlalu banyak kata semu yang ditandai diketahui akan ditandai kurang andal dan tidak mendapat persentil. Server menyusun ulang setiap sesi dari log mentah (dan seed sesi jika tersedia) lalu menghitung skornya sendiri; keterangan benar atau salah yang ditampilkan halaman diabaikan. Log yang melanggar aturan permainan akan ditolak dan tidak ada data yang disimpan. Sesi tersimpan dapat memiliki tanda mutu yang tidak pernah ditampilkan dan tidak menghalangi hasil: 10 sesi atau lebih dari satu alamat IP, id pengunjung tidak ada, perpindahan tab, dan sinyal otomatisasi (peramban otomatis, kecepatan yang mustahil, tidak ada peristiwa masukan, waktu yang teratur seperti mesin).

Perbedaan dari tugas klasik

Tes ya/tidak dengan kata semu telah ada sejak Meara dan Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) adalah tes tetap berisi 60 butir dengan skor persentase tervalidasi; Brysbaert et al. (2016) memperkirakan ukuran kosakata dari kumpulan data pengetahuan kata daring yang sangat besar, menggunakan kamus berbeda dan pengertian yang lebih longgar tentang mengetahui sebuah kata. Metode perkiraan ini, daftar katanya, dan rancangan dua langkahnya masih baru dan belum dikalibrasi secara independen. Satuannya adalah lema tertulis yang berbeda, bukan keluarga kata seperti dalam Vocabulary Size Test milik Nation.

Keterbatasan

Laporan diri: orang berbeda-beda dalam kemudahan menandai kata sebagai diketahui, dan kata semu hanya mengoreksi hal ini sebagian. Ukuran kelompok berasal dari sampel yang ditinjau, bukan penghitungan seluruh isi kamus. Daftar dan ukuran kelompok berbeda antarbahasa, sehingga perkiraan tidak dapat dibandingkan antarbahasa. Minat khusus dan bagian kata yang sudah dikenal memengaruhi hasil. Mengingat kata dari sesi sebelumnya juga memengaruhi hasil berikutnya. Tes ini tidak mengukur kecerdasan, kefasihan, atau kesehatan. Pemain pembanding adalah pengunjung situs, bukan norma populasi.

Bahasa dan status peninjauan

Bahasa Inggris (dua langkah) ditambah bahasa Jerman, Spanyol, Prancis, Italia, Polandia, Portugis, dan Rusia (satu langkah); bahasa situs lainnya menampilkan tes bahasa Inggris. Kata sungguhan: lema Wiktionary (melalui kaikki.org) yang diperingkat berdasarkan frekuensi kata (wordfreq 3.1.1), dengan sampel yang ditinjau secara manual untuk setiap kelompok; dibagikan dengan lisensi CC BY-SA 4.0 sebagaimana diwajibkan lisensi. Kata semu dibuat untuk setiap daftar berdasarkan pola hurufnya dan ditinjau secara manual.