Wie viele Durchgänge machen einen Reaktionszeittest reliabel?

Die historischen Zahlen stammen von Hamsher und Benton, deren Zusammenfassung ihre Schlussfolgerung ausdrücklich auf die Studienbedingungen begrenzt. Sie sollten nicht als Zertifizierungsregel in ein modernes Browserspiel übernommen werden. Reliabilität betrifft die Reproduzierbarkeit eines definierten Werts; Power betrifft die Chance, einen definierten Effekt zu erkennen. Sie hängen zusammen, sind aber unterschiedliche Fragen. de S. Hamsher et al., 1977 Miller, 2023

Warum die Wiederholung derselben Aufgabe hilft

Wären Durchgänge unabhängige Ziehungen mit unveränderter Variabilität, würde der Standardfehler ihres Mittelwerts der Standardabweichung der Durchgänge geteilt durch die Quadratwurzel der Anzahl der Durchgänge entsprechen. Das Beispiel mit dem Vierfachen folgt aus dieser Formel. Reale Durchgänge können diese Annahmen verletzen, weil Menschen lernen, ermüden oder ihre Strategie ändern. Eine Berechnung der Durchgangszahl ist daher ein Modell, keine Garantie für einen stabilen persönlichen Wert. Miller, 2023

Die moderne Analyse der Durchgangszahl zeigt außerdem, dass sich Effekte selbst mit der Übung verändern können. Mehr Durchgänge erzeugen nicht einfach mehr Kopien eines unveränderten ersten Durchgangs. Ein Forschungsdesign muss ein Ergebnis wählen und das Verhalten der Aufgabe über die Sitzung hinweg berücksichtigen. Miller, 2023

Welche Art von Reliabilität möchtest du?

Konsistenz innerhalb eines Durchlaufs unterscheidet sich von Konsistenz über Tage hinweg oder von Konsistenz bei der Rangordnung von Personen. Die Literatur zum Reliabilitätsparadox dokumentiert, wie Aufgaben robuste Gruppeneffekte zeigen können und zugleich weniger reliable individuelle Unterschiede liefern. Ein großer durchschnittlicher Stroop- oder Reaktionseffekt macht einen kurzen Wert nicht automatisch geeignet, um jemandem ein Perzentil zuzuordnen. Hedge et al., 2017

Mittelwerte, Mediane und Minima beantworten unterschiedliche Fragen

Die schnellste Antwort schätzt ein anderes Leistungsmerkmal als der Mittelwert. Sie reagiert besonders empfindlich darauf, wie viele Chancen du dir gibst. Langsame Ausreißer können einen Mittelwert nach oben ziehen, während das Löschen ohne vorher festgelegte Regel das Ergebnis verzerren kann. Die Forschung zu Reaktionszeit-Ausreißern ist ein Grund, die Bewertungsregeln festzulegen, bevor du Läufe vergleichst. Ratcliff, 1993

Die Schlafforschung zeigt, warum die Wahl des Zielwerts wichtig ist: Forschende zur psychomotorischen Vigilanz unterscheiden langsame Reaktionen und Aussetzer von zentralen Zusammenfassungen der Reaktionszeit. Von einem kurzen Best-of-mehrere-Spiel kann nicht angenommen werden, dass es dieselbe Anfälligkeit für Schlafmangel erfasst wie eine anhaltende Vigilanzaufgabe. Basner et al., 2011

Was verändert die scheinbar benötigte Zahl an Durchgängen?

Geräte-Jitter erhöht die Variabilität, eine feste Geräteverzögerung erzeugt Verzerrung. Mehr Durchgänge können beim Ersteren helfen, kalibrieren das Letztere aber nicht weg. Sowohl Timing-Bewertungen als auch Ergebnisse der Laborkalibrierung sprechen dafür, diese Fehlerquellen zu unterscheiden. Anwyl-Irvine et al., 2020 Bridges et al., 2020 Woods et al., 2015

Für informelles Tracking wähle ein überschaubares Protokoll, nutze jedes Mal dieselbe Anzahl an Versuchen und zeichne alle abgeschlossenen Läufe auf, nicht nur persönliche Bestwerte. Betrachte das als Vergleichsmethode, nicht als validierte Vorgabe für ein bestimmtes Minimum. Wenn das Ziel ein wissenschaftliches Perzentil ist, braucht die Aufgabe eine repräsentative Normstichprobe und eine gemessene Reliabilität sowie genügend Durchgänge. Hedge et al., 2017 Miller, 2023

Alter, Vorbereitung und Schlaf können die Leistung während oder zwischen Sitzungen ebenfalls verändern. Wenn die Bedingungen einigermaßen konstant bleiben, lässt sich der Vergleich leichter interpretieren, aber keine noch so große Standardisierung macht aus einem Browser-Ergebnis eine klinische Beurteilung. Woods et al., 2015 Basner et al., 2011