Ujian kosa kata: kaedah

Perkara yang diukur

Saiz kosa kata reseptif (pengecaman) dalam bentuk lema, berdasarkan laporan kendiri yang dibetulkan untuk penggera palsu terhadap perkataan pseudo. Bukan pengetahuan tentang takrif, penghasilan bahasa atau kecekapan bahasa.

Prosedur

Bahasa Inggeris (kaedah en-adaptive-1, senarai en-1): langkah 1 ialah grid 40 item: 5 perkataan rawak daripada setiap 7 jalur kekerapan serta 5 perkataan pseudo, diacak; pemain menandakan perkataan yang diketahui ('boleh menerangkan sekurang-kurangnya satu makna'). Langkah 2 ialah grid 60 item baharu: 4 perkataan baharu bagi setiap jalur, 25 perkataan tambahan diletakkan sekitar jalur yang bahagian perkataan diketahui selepas pembetulan dalam langkah 1 paling hampir kepada 50% (pemberat dibahagi dua bagi setiap jalur yang lebih jauh), dan 7 perkataan pseudo baharu. Tiada perkataan berulang. Tiada had masa; tanda boleh diubah sebelum setiap langkah dihantar. Soalan pilihan selepas keputusan: kumpulan umur, penutur asli atau pelajar, tempoh pembelajaran dalam tahun, kekerapan membaca. Bahasa Jerman, Sepanyol, Perancis, Itali, Poland, Portugis dan Rusia (senarai *-1): satu perkataan pada satu masa, 10 perkataan rawak daripada setiap 6 jalur kekerapan (60 perkataan sebenar) serta 30 perkataan pseudo, diacak (90 item); pemain menjawab 'Saya tahu' atau 'Rekaan'. Mula-mula terdapat 2 perkataan sebenar dan 2 perkataan pseudo untuk latihan dengan maklum balas (boleh dilangkau). Tiada had masa; meninggalkan tab tidak menamatkan sesi.

Parameter

Pemarkahan

Bagi setiap jalur b: h = bahagian perkataan sebenar dalam jalur yang ditandakan diketahui (bahasa Inggeris: perkataan step-2 sahaja, supaya pemilihan adaptif tidak memesongkan anggaran); f = bahagian perkataan pseudo yang ditandakan diketahui (bahasa Inggeris: kesemua 12 daripada kedua-dua langkah). Bahagian diketahui p = (h − f) / (1 − f), dikekalkan antara 0 dan 1 (0 jika f = 1). Anggaran = jumlah saiz jalur x p, dibundarkan kepada 100 dan dihadkan pada saiz senarai; nilai lebih tinggi bermaksud kosa kata lebih besar. Julat, bahasa Inggeris: 90% tengah daripada 4,000 cabutan simulasi (taburan posterior Beta Jeffreys bagi kadar pengenalpastian setiap jalur, satu cabutan Beta bersama bagi kadar penggera palsu, dan ketidakpastian Beta pada saiz setiap jalur berdasarkan semakan asal 70 calon), diluaskan supaya merangkumi anggaran; apabila f = 1, julat meliputi seluruh senarai. Julat, bahasa lain: tambah atau tolak 1.645 ralat piawai binomial yang dijumlahkan merentas jalur. Bahasa lain turut mendapat ketepatan ala LexTALE = purata peratusan perkataan sebenar yang diterima dengan peratusan perkataan pseudo yang ditolak. Persentil bahasa Inggeris: bahagian pemain yang layak dan nilainya lebih rendah daripada anggaran (kaedah dan senarai semasa, keputusan yang boleh dipercayai, berkemungkinan bukan automatik, percubaan pertama yang layak bagi setiap pemain); dipaparkan hanya untuk kumpulan sekurang-kurangnya 100 orang. Jika tidak, angka kajian yang diterbitkan dipaparkan sebagai konteks.

Peraturan percubaan sah

Pelayan membina semula item daripada benih sesi (item yang sebenar tidak pernah dipaparkan pada halaman, kecuali semasa latihan). Setiap item mesti dijawab; format bahasa Inggeris dua langkah memerlukan tepat 40 dan 60 jawapan dan tidak boleh dicampur dengan format satu langkah. Keputusan dengan terlalu banyak perkataan pseudo ditandakan diketahui dianggap kurang kukuh dan tidak diberikan persentil. Pelayan membina semula setiap sesi daripada log mentah (dan benih sesi jika ada) lalu mengira skor sendiri; apa-apa maklumat pada halaman tentang jawapan betul atau salah diabaikan. Log yang melanggar peraturan permainan ditolak dan tiada apa-apa disimpan. Sesi yang disimpan boleh mempunyai tanda kualiti yang tidak dipaparkan dan tidak menghalang keputusan: 10 sesi atau lebih daripada satu alamat IP, ID pelawat tiada, pertukaran tab dan isyarat automasi (pelayar automatik, kelajuan mustahil, tiada peristiwa input, pemasaan yang sekata seperti mesin).

Perbezaan daripada tugasan klasik

Ujian ya/tidak dengan perkataan pseudo bermula sejak Meara dan Buxton (1987). LexTALE (Lemhöfer & Broersma 2012) ialah ujian tetap 60 item dengan skor peratusan yang disahkan; Brysbaert et al. (2016) menganggarkan saiz kosa kata daripada set data pengetahuan perkataan dalam talian yang sangat besar, menggunakan kamus berbeza dan pengertian mengetahui perkataan yang lebih longgar. Penganggar ini, senarainya dan reka bentuk dua langkahnya baharu dan belum ditentukur secara bebas. Unitnya ialah lema bertulis yang berbeza, bukan keluarga kata seperti dalam Ujian Saiz Kosa Kata Nation.

Batasan

Laporan kendiri: orang berbeza-beza dari segi kecenderungan menandakan perkataan sebagai diketahui, dan perkataan pseudo hanya membetulkan hal ini sebahagiannya. Saiz jalur berdasarkan sampel yang disemak, bukan kiraan kamus lengkap. Senarai dan saiz jalur berbeza antara bahasa, jadi anggaran tidak boleh dibandingkan antara bahasa. Minat khusus dan bahagian perkataan yang biasa dikenali mengubah keputusan. Mengingati perkataan daripada sesi terdahulu mengubah keputusan kemudian. Ujian ini tidak mengukur kecerdasan, kefasihan atau kesihatan. Pemain perbandingan ialah pelawat laman, bukan norma populasi.

Bahasa dan status semakan

Bahasa Inggeris (dua langkah) serta bahasa Jerman, Sepanyol, Perancis, Itali, Poland, Portugis dan Rusia (satu langkah); bahasa lain di laman ini memaparkan ujian bahasa Inggeris. Perkataan sebenar: lema Wiktionary (melalui kaikki.org) disusun mengikut kekerapan perkataan (wordfreq 3.1.1), dengan sampel setiap jalur yang disemak secara manual; dikongsi di bawah CC BY-SA 4.0 seperti yang dikehendaki lesen. Perkataan pseudo dicipta bagi setiap senarai berdasarkan pola hurufnya dan disemak secara manual.