Тест «Башня Лондона»: метод

Что измеряет

Планирование (решение задач с продумыванием ходов вперёд): решение за минимальное число ходов, начальное время планирования (до первого хода) и время выполнения.

Процедура

Три стержня, вмещающие 3, 2 и 1 шар, и 3 разноцветных шара. Для каждой задачи показаны исходное положение, цель и минимальное число ходов. Можно перемещать только верхний шар; нельзя класть шар на заполненный стержень; поднять шар и вернуть его на тот же стержень — не ход. Управление: нажмите на шар, затем на стержень или перетащите шар; клавиши 1, 2 и 3 позволяют взять и поставить шар, а Esc возвращает его на место. Сначала предлагается 1 тренировочная задача на 2 хода; по умолчанию она предназначена для новых игроков, её можно пропустить. Затем идут 16 задач от простых к сложным по минимальному числу ходов (порядок внутри уровня перемешан). Задача завершается после решения, 20 ходов или 60 s, после чего начинается следующая. Цвета шаров случайно меняются при каждой попытке, поэтому повтор выглядит по-новому, но сложность остаётся прежней. Если покинуть вкладку браузера, попытка завершится. Около 5 минут.

Параметры

Оценка результатов

Для каждой задачи: решена ли она (цель достигнута в пределах лимитов ходов и времени), число ходов, идеальное решение (за минимальное число ходов), лишние ходы, время планирования (от начала задачи до первого касания шара) и общее время. Основной показатель: число идеальных решений, от 0 до 16; чем выше, тем лучше. Также показываются: решённые задачи, общее число лишних ходов в решённых задачах, среднее время планирования, среднее общее время и результаты по уровням. «Как вы решали»: в задачах на 4 или более ходов доля времени до первого хода = сумма времени планирования / сумма общего времени; значение 0.40 или выше отмечается как «сначала планировал», иначе — «разбирался по ходу» (описание этой попытки, а не оценка). С другими игроками результат сравнивается только по диапазону (ниже типичного — ниже 25-го процентиля, типичный, выше типичного — выше 75-го процентиля) на основе 100 сопоставимых игроков, без указания точного места, поскольку надёжность при повторном тестировании для одной попытки низкая. Для сравнения используются только первые попытки (без более ранних попыток того же посетителя, аккаунта либо сочетания IP-адреса и устройства), без флагов качества, с той же версией алгоритма оценки и настройками запуска.

Правила зачёта попытки

Должны быть отправлены все 16 задач. Сервер восстанавливает задачи по начальному значению генератора и проверяет каждый ход по правилам; попытка отклоняется, если ход нарушает правила, время ходов убывает, первое касание происходит после первого хода или задача завершается до последнего хода. Решение позднее 61.5 s считается нерешённым. Сервер заново собирает каждую попытку по исходному журналу (и начальному значению генератора, если оно есть) и сам вычисляет результат; сообщения страницы о правильности ответов игнорируются. Журнал, нарушающий правила игры, отклоняется, и данные не сохраняются. У сохранённых попыток могут быть невидимые пользователям флаги качества, которые никогда не мешают показу результата: 10 или более попыток с одного IP-адреса, отсутствие идентификатора посетителя, переключения вкладок и признаки автоматизации (автоматизированный браузер, невозможная скорость, отсутствие событий ввода, машинно-равномерные интервалы времени).

Отличия от классического задания

Шаллис использовал физическую доску и меньший набор задач. В этой версии 16 собственных задач от 2 до 6 ходов; в каждой указано минимальное число ходов, а количество ходов и время ограничены. Минимальное число ходов для каждой задачи найдено поиском в ширину по всем 36 положениям; у каждой задачи ровно одно кратчайшее решение (это повторно проверено для данного описания). Структура задач (формы цели) варьируется вслед за Kaller et al. (2011). Нормативы других версий неприменимы.

Ограничения

Результаты одной попытки в тесте «Башня Лондона» нестабильны при повторном тестировании (число ходов r = .15 через две недели в Piper et al. 2015), поэтому результат показывается только в виде диапазона. На результат влияют усталость, устройство и удобство управления. Тест не измеряет интеллект и не является клиническим.

Языки и статус проверки

Языконезависимые стимулы; инструкции доступны на всех языках сайта (английском и ещё 99 языках).