反應時間測試要做幾多次先可靠？

早期研究嘅次數來自 Hamsher 同 Benton；佢哋喺摘要入面明確指出，結論只適用於該研究嘅條件。唔應該將呢啲數字直接套用到現代瀏覽器遊戲，當成認證標準。可靠性講嘅係一個明確界定嘅分數能否重複得出；統計效能講嘅係偵測到明確界定嘅效果嘅機會。兩者有關，但係唔同問題。de S. Hamsher 等人，1977 Miller，2023

點解重複做同一項任務會有幫助

如果每次測試都係互相獨立抽取，而且變異程度冇改變，平均值嘅標準誤就等於每次測試嘅標準差除以測試次數嘅平方根。次數增加至 四倍嘅例子就係根據呢條公式。實際測試可能唔符合呢啲假設，因為人會學習、疲倦，或者改變策略。所以，按次數計算只係一個模型，唔保證個人分數會穩定。Miller，2023

現代嘅測試次數分析亦顯示，效果本身可能會隨練習而改變。做多啲次唔代表只係複製更多次一個毫無改變嘅首次測試結果。研究設計要先選定結果指標，亦要考慮任務喺整個測試時段內嘅表現變化。Miller，2023

你想要邊種可靠性？

同一次測試入面嘅一致性、隔幾日測試嘅一致性，以及排名人與人之間嘅一致性，係唔同概念。可靠性悖論研究指出，任務可以呈現穩健嘅群體效果，但個人差異嘅可靠性較低。Stroop 效果或者反應效果嘅平均值好大，唔代表短測試分數就適合用嚟判定某人嘅百分位排名。Hedge 等人，2017

平均值、中位數同最低值各自回答唔同問題

最快嘅反應同平均值反映嘅表現特徵唔同，而且特別容易受測試機會有幾多影響。反應特別慢嘅離群值會拉高平均值；如果冇預先訂明規則就刪除呢啲數值，結果亦可能會有偏差。反應時間離群值研究提醒我哋，比較唔同次測試之前要先固定評分規則。Ratcliff，1993

睡眠研究說明咗點解選擇結果指標咁重要：精神運動警覺性研究人員會將反應慢同短暫失誤，分開處理中央反應時間指標。一個短時間、從幾次測試揀最佳成績嘅遊戲，唔可以假設能夠反映出同持續警覺任務一樣嘅睡眠不足影響。Basner 等人，2011

乜嘢會影響估計所需嘅測試次數？

裝置嘅計時波動會增加變異，而裝置固定嘅延遲會造成偏差。做多啲次可能有助減少前者，但無法校準消除後者。計時評估同實驗室校準結果都支持將呢兩種誤差來源分開處理。Anwyl-Irvine 等人，2020 Bridges 等人，2020 Woods 等人，2015

如果只係想非正式咁追蹤表現，可以揀一套容易持續嘅程序，每次用相同次數，並記錄所有完成嘅測試，而唔係只記個人最佳成績。將呢個方法當成比較方式就好，唔好當成經驗證、適用於某個最低次數嘅指引。如果目標係計算科學研究嘅百分位，就需要有代表性嘅常模樣本、實測可靠性，以及足夠次數嘅測試。Hedge 等人，2017 Miller，2023

年齡、準備情況同睡眠亦會令表現喺測試期間或唔同時段之間有所變化。盡量維持測試條件一致，會令結果比較容易理解；但無論幾標準化，瀏覽器測試都唔會因此變成臨床評估。Woods 等人，2015 Basner 等人，2011