4. Конструирование тестов, оценка надежности и валидности.

Общая схема процесса разработки тестов.

Этап I. Организационный.

Шаг 1. Планирование проекта. Основные задачи: Формулирование предварительных характеристик теста. Определение основных источников валидности. Выбор психометрических и исследовательских моделей. Составление подробного плана разработки теста. Организационные решения

Этап II. Содержательный.

Шаг 2. Определение содержания. Основные задачи: Определение исходного теоретического концепта. Формирование репрезентативной выборки содержания. Описание ключевой феноменологии.

Шаг 3. Составление спецификации теста. Основные задачи: Операционализация содержания. Выбор и фиксация формальных характеристик теста. Утверждение спецификации.

Этап III. Подготовительный.

Шаг 4. Разработка пунктов. Основные задачи: Разработка пунктов. Профессиональная редакция пунктов. Создание банка пунктов.

Шаг 5. Сборка теста. Основные задачи: Компоновка рабочих версий теста. Утверждение пробной версии теста.

Этап IV. Исследовательский.

Шаг 6. Апробация, анализ и коррекция пунктов. Основные задачи : Эмпирическая апробация пунктов. Отбор и переформулирование пунктов. Проверка внутренней согласованности и дискриминативности шкал. Повторный пилотаж (при необходимости). Утверждение состава и структуры теста.

Шаг 7. Уточнение процедуры тестирования. Основные задачи: Уточнение процедуры и времени. Разработка инструкций Утверждение рабочей версии теста.

Шаг 8. Изучение и проверка валидности и надёжности. Основные задачи: Исследование ретестовой надёжности. Изучение конструктной валидности. Проверка критериальной валидности. Утверждение окончательной версии теста. Корректорская проверка окончательной версии теста.

Этап V. Стандартизационный.

Шаг 9. Массовые обследования для стандартизации. Основные задачи: Формирование выборки стандартизации. Массовые обследования по плану. Стандартизация теста для различных групп. Фиксация способов перехода к нормам.

Этап VI. Интерпретационный.

Шаг 10. Разработка схем интерпретации и диагностических отчётов. Основные задачи: Описание алгоритмов обработки данных и схем анализа результатов. Описание принципов интерпретации результатов. Разработка критериев для диагностических выводов. Описание моделей составления отчётов. Разработка компьютерных программ обработки данных и составления отчётов.

Этап VII. Технический.

Шаг 11. Написание технических отчётов. Основные задачи: Подготовка подробной документации о результатах, полученных на всех этапах разработки теста. Составление технических отчётов о разработке и психометрической проверке теста.

Шаг 12. Юридическое оформление. Основные задачи: Юридические процедуры. Рецензирование методики. Сертификация методики.

Шаг 13. Издание. Основные задачи: Подготовка руководства для пользователя. Издание методики.

Этап VIII. Эксплуатационный. Шаг 14. Сопровождение использования теста. Основные задачи: Проверка основных психометрических характеристик методики другими исследователями. Дальнейшее изучение конструктной валидности. Создание новых форм и модификаций теста. Совершенствование пользовательских характеристик теста.

Вали́дность — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению. Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты. Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Надёжностью называется один из критериев качества теста, его устойчивость по отношению к погрешностям измерения. Различают два вида надёжности - надёжность как устойчивость и надёжность как внутреннюю согласованность. Устойчивость результатов теста или ретестовая надежность (англ - test-retest reliability) – возможность получения одинаковых результатов у испытуемых в различных случаях. Устойчивость определяется с помощью повторного тестирования (ретеста).

Внутренняя согласованность(англ. - internal consistency) определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Чаще всего тесты, разрабатываются таким образом, чтобы у них была высокая степень внутренней согласованности, а связи с тем, что если одна переменная измеряется частью теста, то тогда в других частях, если они не согласованы с первой, эта же переменная измеряться не может. Таким образом, чтобы тест был валидным, необходимо, чтобы он был согласован.

Надежность показывает, что результаты проводимого исследования близки к истине, а валидность показывает, что результаты действительно относятся к тому явлению, которое изучается исследователем. Валидное исследование автоматически является надежным, однако обратное следствие не обязательно. Надежное исследование может и не быть валидным.