Ловушки решений: метод

Что измеряет

Результаты в пяти форматах принятия решений: последовательность ответов при положительной и отрицательной формулировке, устойчивость к невозвратным затратам, применение правила принятия решений, калибровка уверенности и когнитивная рефлексия; они объединяются в один игровой результат. Отдельный устойчивый результат для каждого когнитивного искажения не заявляется.

Процедура

17 оригинальных заданий в фиксированном порядке, по одному за раз: две пары с разными формулировками (4 задания; положительная и отрицательная формулировки каждой пары расположены далеко друг от друга), 3 задания на невозвратные затраты, 3 задания на правила принятия решений, 4 задания на уверенность (ответ «да» или «нет» и уверенность 50, 60, 70, 80, 90 или 100%) и 3 задания на рефлексию (по 4 варианта ответа). Инструкция: выберите лучший ответ, используя только предоставленную информацию. Время не ограничено; до отправки ответов можно вернуться назад; пояснения и правильные ответы показываются только после получения результата.

Параметры

Оценка результатов

Баллы за задание: за пару с разными формулировками начисляется 1 балл, если в обоих случаях выбран один и тот же вариант, иначе 0; за задание на невозвратные затраты, правило принятия решений или рефлексию начисляется 1 балл за правильный ответ; за задание на уверенность начисляется 1 − (c/100 − correct)², где c — уверенность в выбранном ответе, а correct = 1 или 0 (точность типа Брайера). Результат формата — средний балл в этом формате. Игровой результат = round(100 × среднее значение пяти результатов форматов), поэтому каждый формат имеет одинаковый вес; диапазон 0–100, выше — лучше. Сравнение с другими игроками показывается широкими диапазонами.

Правила зачёта попытки

Для каждого задания нужен ровно один ответ, а для заданий на уверенность нужно выбрать один из предложенных уровней уверенности (в остальных заданиях уровень указывать нельзя); версия набора заданий должна совпадать, иначе попытка отклоняется. Сохраняется отметка качества «too_fast» (не менее половины ответов даны быстрее чем за 700 ms); попытки с такой отметкой не включаются в сравнения.

Отличия от классического задания

Батарея A-DMC (Bruine de Bruin et al., 2007) содержит более длинные подшкалы со своими заданиями и системой подсчёта (например, эффект формулировки измеряется с помощью шкал оценок в отдельных разделах), а тест когнитивной рефлексии (Frederick, 2005) состоит из трёх конкретных заданий. Все задания здесь написаны для этого сайта; опубликованные надёжность и валидность этих инструментов к ним не относятся.

Ограничения

В каждом формате мало заданий, поэтому результаты форматов ненадёжны и сообщается только общий результат. После знакомства с пояснениями повторные попытки даются легче. Для некоторых заданий нужна базовая арифметика. Переводы не прошли проверку. Это обучающая игра, а не валидированная оценка компетентности в принятии решений.

Языки и статус проверки

Оригинал на английском; переводы ещё на 99 языков (машинный перевод с участием человека, автоматическая проверка скриптов и орфографии; числа, ограничения, порядок вариантов, правильные ответы и пояснения сохранены такими же, как в английской версии).