Экспертная валидизация

Валидизация – процедура проверки валидности.

Эксперты могут оценивать тестовые задания – это экспертная теоретическая валидизация.

Эксперты могут оценивать испытуемых по диагностируемым свойствам – это экспертная эмпирическая валидизация.

Метод экспертных оценок используется фактически везде, где имеет место нестандартизированный переход от диагностических признаков (эмпирических индикаторов) к диагностическим выводам (диагностическим категориям)- проективные методики, и контент-анализ продуктов деятельности» и включенное наблюдение, и анализ материалов беседы. Используется, как правило, в сочетании с так называемым стандартизированным «аналитическим наблюдением».

То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят «живое» наблюдение, либо они имеют дело с видеозаписью.

После получения независимых протоколов между протоколами рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков — Рунион, 1982). Значение вычисленного коэффициента сопряженности указывает на сводный показатель «надежность+валидность». Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубленно можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера «НАДЕЖНОСТИ-ВАЛИДНОСТИ» наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры «надежности-валидности» выступает СОГЛАСОВАННОСТЬ оценок независимых экспертов.

Понятно, что чем больше независимых экспертов привлечено к этапу первичной отработки кодифицированной системы признаков и чем больше кодировщиков участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и случайные ошибки (вследствие колебаний внимания), и систематические ошибки (в силу неправильного толкования инструкции по какому-то признаку), допущенные одним экспертом, погашаются при суммировании с результатами других экспертов. Эти другие эксперты также допускают ошибки, но это — разные ошибки. То есть коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности. (Напомним, что 5 процентный уровень ошибки считается признанным стандартным допустимым уровнем вероятности ошибки в гуманитарных отраслях знания).

Таким образом, кроме интегрального рейтинга весьма информативен именно диагностический профиль. Он несет в себе более ценную структурную, качественную, а не только количественную информацию.

Эмпирическая валидность: поправка на ненадёжность критерия

Rtx = Rcx / sqr(Ac)

Rcх – эмпирическая корреляция между результатами теста и экспертными оценками

Ac – надёжность критерия (по формуле Кронбаха)

Кросс-валидизация

• Ключи,полученные путем поиска значимых корреляций пунктов теста с внешним критериальным показателем, нужно проверять на ДРУГОЙ выборке – не на той, на которой корреляции обнаружены.

• При наличии пула из 400 вопросов получется всегда 20 вопросов, которые дают корреляции, значимые на уровень 5-процентной вероятности ошибки.

Валидность универсальных специализированных тестов

Диапазон валидности для личностных универсальных тестов 0,3-0,4 (предел прогностичности диспозициональных психических свойств).

Диапазон валидности для интеллектуальных тестов 0,4-0,6

Диапазон валидности для специализированных тестов 0,5-0,7

Вероятностная интерпретация коэффициента корреляции

При r=0,3 вероятность часто ошибочно называют 0,3, смешивая размерность шкалы для r (от -1 до 1) и размерность шкалы вероятности (от 0 до 1). Правильный ответ p=0,65 (оговорка: для бинарной категориальной шкалы с одной точкой отсечения). Способ получения: p=(0,5*r+0,5) – к уровню случайного угадывания 0,5 надо прибавить половину коэффициента корреляции. Четырёхклеточная таблица для прогностического теста будет иметь такой же вид как таблица «цвет волос * болтливость»: лучшие по тесту будут справляться в 65% случаях, а худшие – в 35%.

0,65 – это более высокая точность, чем 0,55 (вероятность точного прогноза для интервью).