Kolik pokusů potřebuje test reakční doby, aby byl spolehlivý?

Historické počty pocházejí od Hamshera a Bentona, jejichž abstrakt výslovně omezuje svůj závěr na podmínky studie. Neměly by se přenášet do moderní prohlížečové hry jako certifikační pravidlo. Reliabilita se týká reprodukovatelnosti definovaného skóre; síla se týká pravděpodobnosti odhalení definovaného účinku. Jsou to příbuzné, ale odlišné otázky. de S. Hamsher et al., 1977 Miller, 2023

Proč pomáhá opakování stejného úkolu

Kdyby byly pokusy nezávislými výběry s neměnnou variabilitou, směrodatná chyba jejich průměru by se rovnala směrodatné odchylce pokusů dělené druhou odmocninou počtu pokusů. Příklad se čtyřnásobným počtem vychází z tohoto vzorce. Skutečné pokusy mohou tyto předpoklady porušovat, protože se lidé učí, unavují se nebo mění strategii. Výpočet počtu pokusů je proto model, nikoli záruka stabilního osobního skóre. Miller, 2023

Moderní analýza počtu pokusů také ukazuje, že se účinky mohou samy měnit s praxí. Více pokusů nevytváří jen více kopií neměnného prvního pokusu. Výzkumný design musí zvolit výsledek a zohlednit chování úkolu v průběhu sezení. Miller, 2023

Jaký druh spolehlivosti chcete?

Konzistence v rámci jednoho běhu je něco jiného než konzistence mezi dny nebo konzistence při řazení lidí. Literatura o paradoxu reliability dokumentuje, jak úkoly mohou vykazovat robustní skupinové efekty, a přitom vytvářet méně spolehlivé individuální rozdíly. Velký průměrný Stroopův efekt nebo efekt reakce automaticky neznamená, že krátké skóre je vhodné k přiřazení percentilu danému člověku. Hedge et al., 2017

Průměry, mediány a minima odpovídají na různé otázky

Nejrychlejší reakce odhaduje jinou vlastnost výkonu než průměr. Je obzvláště citlivá na to, kolik si dáte příležitostí. Pomalé odlehlé hodnoty mohou táhnout průměr nahoru, zatímco jejich odstranění bez předem stanoveného pravidla může výsledek zkreslit. Výzkum odlehlých hodnot v reakční době je důvodem ponechat pravidla skórování pevně stanovená před porovnáváním běhů. Ratcliff, 1993

Literatura o spánku ukazuje, proč na volbě výsledku záleží: výzkumníci psychomotorické bdělosti rozlišují pomalé reakce a výpadky od souhrnných ukazatelů centrální reakční doby. U krátké hry s nejlepším z několika pokusů nelze předpokládat, že zachytí stejnou zranitelnost vůči nedostatku spánku jako úkol vyžadující trvalou bdělost. Basner et al., 2011

Co mění zdánlivý počet potřebných pokusů?

Nestabilita časování zařízení zvyšuje variabilitu a pevné zpoždění zařízení vnáší zkreslení. Více pokusů může pomoci s první příčinou, druhou však kalibrací neodstraní. Hodnocení časování i výsledky laboratorní kalibrace podporují rozlišování těchto zdrojů chyb. Anwyl-Irvine et al., 2020 Bridges et al., 2020 Woods et al., 2015

Pro neformální sledování zvolte zvládnutelný protokol, pokaždé použijte stejný počet pokusů a zaznamenávejte všechny dokončené běhy, nejen osobní rekordy. Berte to jako metodu srovnávání, nikoli jako ověřený předpis pro konkrétní minimum. Pokud je cílem vědecký percentil, úkol potřebuje reprezentativní normativní vzorek a změřenou reliabilitu i dostatek pokusů. Hedge et al., 2017 Miller, 2023

Věk, příprava a spánek mohou také měnit výkon během sezení nebo mezi nimi. Když podmínky udržíte přiměřeně stálé, srovnání se snadněji interpretuje, ale žádná míra standardizace nepromění výsledek z prohlížeče v klinické vyšetření. Woods et al., 2015 Basner et al., 2011