8 В. Психометрические требования к методам и методикам психологических исследований. Понятия стандартизации, надёжности и валидности

ДИАГНОСТИЧЕСКИЕ МЕТОДИКИ – обычно называют измерительными инструментами, а психологическую диагностику – ПСИХОМЕТРИЕЙ.

ПСИХОМЕТРИЯ – область психологической диагностики, связанная с теорией и практикой измерений в психологии. Это понятие было введено Х. Вольфом.

Реализация идеи измерений психических явлений началась с работ по психофизике. Первоначально под ПСИХОМЕТРИЕЙ – понималось измерение временных характеристик психических процессов. Однако, очень скоро область психометрии расширилась. К ней стали относить измерения не только ощущений, но и более сложных психических функций. Другими словами, всё то, что связано с количественным определением психических явлений, стали включать в понятие «ПСИХОМЕТРИЯ», которое затем переросло в понятие «ОБЩАЯ ПСИХОМЕТРИЯ».

С появлением такой области исследований, как ДИФФЕРЕНЦИАЛЬНАЯ ПСИХОЛОГИЯ – психометрия получила своё новое развитие, поскольку стали возникать особые ПРАВИЛА И ТРЕБОВАНИЯ К ПРИНЦИПАМ ИЗМЕРЕНИЯ, следование которым обеспечивало его точность и достоверность. В связи с этим обнаружилась необходимость использовать понятие более точно. Оно должно было отражать не всю совокупность психологических и психофизических измерений, а только ту, которая имеет отношение к дифференциально-психологическим характеристикам. В качестве такого понятия предлагался термин «ДИФФЕРЕНЦИАЛЬНАЯ ПСИХОМЕТРИЯ».

Таким образом, к ОБЩЕЙ ПСИХОМЕТРИИ – относятся измерения общепсихологического (всойственного всем людям) характера, т.е. функциональные зависимости между свойствами стимула и свойствами субъективных реакций. К ДИФФЕРЕНЦИАЛЬНОЙ ПСИХОМЕТРИИ – относятся измерения, касающиеся индивидуальных различий между людьми по способностям, когнитивным функциям, мотивам, эмоциональным особенностям и др. Здесь числовые значения (баллы, ранги, шкальные значения) приписываются не стимулам, а индивидам.

ДИФФЕРЕНЦИАЛЬНАЯ ПСИХОМЕТРИКА по отношению к психодиагностике и дифференциальной психологии – выступает в качестве ТЕХНОЛОГО-МЕТОДИЧЕСКОЙ ДИСЦИПЛИНЫ. Она обосновывает требования, которым должны удовлетворять психодиагностические методики, процедура их разработки и применения. К числу таких требований, относятся:

1. стандартизация;

2. валидность;

3. надёжность;

4. объективность.

ИЗМЕРИТЬ – значит определить какой-либо мерой величину измеряемого. Для этого нужно, чтобы были соблюдены 2 условия:

1 УСЛОВИЕ: касается самого измерительного инструмента – он должен иметь на протяжении всего измерения одну и ту же тождественную самой себе меру. Нельзя измерить инструментом у которого нет такой тождественной меры. (НР: если бы на линейке расстояние между делениями были не одинаковы на разных участках).

2 УСЛОВИЕ: нужно, чтобы то что измеряется во всех случаях оставалось одним и тем же, т.е. так же было тождественно самому себе.

СТАНДАРТИЗАЦИЯ – (по мнению А. Анастази) это единообразие процедуры проведения и оценки выполнения теста.

СТАНДАРТИЗАЦИЕЙ - называется процесс унификации, регламентации, приведения к единым нормативам процедуры психодиагностики и тестовых показателей.

СТАНДАРТИЗАЦИЯ рассматривается в 2-х планах:

1. как выработка единых требований к процедуре эксперимента;

2. как определение единого критерия оценки результатов диагностических испытаний.

1. СТАНДАРТИЗАЦИЯ ПРОЦЕДУРЫ ЭКСПЕРИМЕНТА – подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

К числу ТРЕБОВАНИЙ, которые НЕОБХОДИМО СОБЛЮДАТЬ ПРИ ПРОВЕДЕНИИ ЭКСПЕРИМЕНТА, относятся:

1) инструкции следует сообщать испытуемым одинаковым образом, как правило письменно. В случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковом стиле и манере;

2) ни одному испытуемому не следует давать никаких преимуществ перед другими;

3) в процессе эксперимента не следует давать отдельным испытуемым дополнительных пояснений;

4) эксперимент с разными группами следует проводить в одинаковое время и в сходных условиях;

5) временные ограничения при выполнении заданий для всех испытуемых должны быть одинаковыми.

Обычно авторы методики в руководстве к пользованию приводят точные и подробные указания по процедуре её проведения. Формулирование таких указаний составляет ОСНОВНУЮ ЧАСТЬ СТАНДАРТИЗАЦИИ МЕТОДИКИ (т.к. только строгое их соблюдение даёт возможность сравнивать между собой показатели, полученные разными испытуемыми).

2. СТАНДАРТИЗАЦИЯ КРИТЕРИЕВ ОЦЕНКИ. Решается основной вопрос в определении меры и параметров измерения. Что нужно брать за точку отсчёта?

В традиционном тестировании такая точка отсчёта добывается СТАТИСТИЧЕСКИМ ПУТЁМ – СТАТИСТИЧЕСКАЯ НОРМА.

В общих чертах СТАНДАРТИЗАЦИЯ диагностической методики, ориентированной на норму, осуществляется путём её проведения на большой репрезентативной выборке того типа, для которого данная методика предназначена. Относительно данной группы испытуемых (т.е. ВЫБОРКОЙ СТАНДАРТИЗАЦИИ) разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность (выше и ниже среднего уровня). В результате можно оценить разные степени успешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки (или выборки стандартизации).

Для вычисления СТАТИСТИЧЕСКОЙ НОРМЫ психологи-диагносты обратились к приёмам МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ.

Кроме статистической нормы, основой для сравнения и интерпретации диагностических испытаний могут являться ПРОЦЕНТИЛИ.

ПРОЦЕНТИЛЬ – это доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя.

ПРОЦЕНТИЛИ – указывают на относительное положение индивида в выборке стандартизации. Их так же можно рассматривать как РАНГОВЫЕ ГРАДАЦИИ.

Процентили не следует смешивать с обычными процентными показателями. ПРОЦЕНТЫ – являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда, как процентиль – это производный показатель, указывающий на долю от общего числа членов группы.

ВЫБОРКА СТАНДАРТИЗАЦИИ. При разработке и применении любой точки отсчёта следует обращать внимание на ВЫБОРКУ ИСПЫТУЕМЫХ, на которой проводится стандартизация диагностической методики.

В математической статистике принято различать:

1) ГЕНЕРАЛЬНУЮ СОВОКУПНОСТЬ – называется всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы

2) ВЫБОРКА СТАНДАРТИЗАЦИИ – это часть или подмножество совокупности. Это группа, которая реально подвергается тестированию и с её помощью оценивается генеральная совокупность.

Чтобы оценки носили ДОСТОВЕРНЫЙ ХАРАКТЕР – выборка должна быть РЕПРЕЗЕНТАТИВНОЙ, т.е. представительной в рассматриваемой популяции (т.е. вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности). Таким образом, одним из способов ОБЕСПЕЧЕНИЯ РЕПРЕЗЕНТАТИВНОСТИ ВЫБОРКИ – является ограничение популяции (НР: по возрасту, полу, социальному происхождению, профессии, социальному статусу, здоровью и т.д.).

При применении стандартизации осуществляется сопоставление экспериментальных данных, полученных при помощи методик различной размерности. В результате обработки тестовых показателей получают сырые баллы, которые переводятся в стандартные оценки, составленные в соответствии с законом нормального распределения.

На основании этого РАЗЛИЧАЮТ II ФОРМЫ СТАНДАРТИЗАЦИИ:

1) Обработка данных, регламентация процедуры проведения

тестирования и его периодичности, унификация инструкций и

бланков, способов регистрации результатов, стандартность условий

проведения обследования, характеристик контингента обследуемых и

т.д.

2) Преобразование нормальной (или искусственно нормализованной)

шкалы оценок в новую шкалу, основанную на определении места

сырой оценки испытуемого в распределении показателей теста в

репрезентативной выборке.

ОБЪЕКТИВНОСТЬ ПСИХОЛОГИЧЕСКОЙ ОЦЕНКИ определяется достоверностью измерительных средств, т.е. знанием методов психодиагностики, умением ими пользоваться, «верой в метод», а также опытом исследователя. Отсюда следует вывод о необходимости изучения методик, их адаптации к конкретным исследовательским ситуациям, умения разрабатывать новые методики и грамотной организации реальной экспериментальной работы.

ОБЪЕКТИВНОСТЬ ТЕСТОВЫХ ПОКАЗАТЕЛЕЙ - достигается соблюдением критериев достоверности психодиагностического измерения, а также приобретением опыта его использования и интерпретации полученных данных.

КРИТЕРИЙ ОБЪЕКТИВНОСТИ - был введён Б.М.Тепловым в качестве важнейшего критерия соответствия выбираемых показателей (методов, методик) гипотезе и цели исследования. Это и оценка репрезентативности данных с точки зрения представленности в методических процедурах фиксации именно тех психологических показателей, которые наилучшим образом свидетельствуют об изучаемых процессах или явлениях. Это также и обоснование показателей в качестве психологических от уровня их объективации.

Достоверность психодиагностического измерения определяется: валидностью и надёжностью и прогностичностью применяемых психологических методик.

ВАЛИДНОСТЬ (действительный, пригодный, имеющий силу) - фундаментальное понятие экспериментальной психологии, означающее соответствие тестовых данных измеряемому свойству. СТЕПЕНЬ ВАЛИДНОСТИ ОПРЕДЕЛЯЕТ - насколько результаты эксперимента соответствуют поставленной задаче.

В психодиагностике ВАЛИДНОСТЬЮ называют комплексную характеристику методики (теста), включающую сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

ВАЛИДНОСТЬ - как элемент достоверности психодиагностического измерения свойств субъекта есть мера соответствия тестовых оценок представлениям о сущности свойств или их роли в той или иной деятельности человека.

А.Анастази даёт более простое определение валидности в психодиагностике - «… понятие, указывающее нам, что тест измеряет и насколько хорошо это делает».

В словаре Л.Ф.Бурлачука приводятся определения более 10 видов валидности, используемых в психодиагностике для характеристики измерительных возможностей тестов. В экспериментальной психологии в основном используют 4-ре вида валидности:

1) ВНЕШНЯЯ ВАЛИДНОСТЬ. В.Н.Дружинин определяет внешнюю валидность как характеристику меры соответствия экспериментальной процедуры реальности. Это соответствие результатов эксперимента принятой в данное время научной парадигме.

ВНЕШНЯЯ ВАЛИДНОСТЬ - мера возможности распространения результатов тестирования на генеральную совокупность. Внешняя валидизация осуществляется путём отработки РЕПРЕЗЕНТАТИВНОСТИ ЭКСПЕРИМЕНТАЛЬНОЙ ВЫБОРКИ при отработке теста и перекрёстной валидизации, т.е. определение валидности теста на выборке, отличающейся от той, на которой отрабатывался стимульный материал и задания к тесту.

РЕПРЕЗЕНТАТИВНОСТЬ ВЫБОРКИ - представительность экспериментальной выборки, которая отражает основные свойства генеральной совокупности. РЕПРЕЗЕНТАТИВНОСТЬ определяется путём сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками исследуемой популяции с целью определить их однородность.

К КАЧЕСТВЕННЫМ ХАРАКТЕРИСТИКАМ могут быть отнесены социально-демографические, видовые, интеллектуальные (образовательные), профессиональные и другие.

КОЛИЧЕСТВЕННАЯ ХАРАКТЕРИСТИКА экспериментальной группы - это минимальная её численность, которая сохраняет свойства генеральной совокупности.

ПЕРЕКРЁСТНАЯ ВАЛИДИЗАЦИЯ - производится путём апробации теста на выборке отличной от экспериментальной. Перекрёстная валидизация осуществляется с целью определить границы применения методики по критерию «характеристика популяции». В ходе перекрёстной валидизации рассчитываются коэффициенты корреляции между одними и теми же показателями, полученными в результате тестирования разных групп испытуемых. Вывод о возможности применения теста на данной популяции делается при помощи параметрических критериев ( F - критерий Фишера, t - критерий Стьюдента, u - критерий Уэлша).

2) ВНУТРЕННЯЯ ВАЛИДНОСТЬ - характеризует меру влияния независимой переменной на зависимую по отношению к другим факторам. Она определяет достоверность экспериментальных результатов. Другими словами, внутренняя валидность отражает степень соответствия изменений зависимой переменной изменениям независимой. Полная внутренняя валидность достигается, если удаётся установить строгую функциональную зависимость между этими переменными

Выявлен ряд факторов, которые могут угрожать внутренней валидности, среди них: эффект последовательности, эффект Розенталя (Пигмалиона), эффект Хоторна, эффект аудитории, эффект плацебо и др.

Таким образом, ВНУТРЕННЯЯ ВАЛИДНОСТЬ - мера соответствия тестовых оценок уровню развития измеряемого свойства. Она ВКЛЮЧАЕТ В СЕБЯ, по крайней мере, 5 элементов:

- концептуальная теоретическая валидность;

- содержательная валидность;

- операциональная валидность;

- эмпирическая валидность.

А) КОНЦЕПТУАЛЬНАЯ (ТЕОРЕТИЧЕСКАЯ) ВАЛИДНОСТЬ - теоретическое обоснование возможности измерения исследуемого свойства данным психодиагностическим средством.

Б) СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ - степень репрезентативности содержания заданий теста измеряемой области психических свойств.

В) КОНСТРУКТНАЯ ВАЛИДНОСТЬ - степень репрезентативности исследуемого психологического конструкта в результатах теста, т.е. на сколько результаты теста рассматриваются в качестве меры исследуемого психологического конструкта - фактора, свойства.

Г) ОПЕРАЦИОНАЛЬНАЯ ВАЛИДНОСТЬ - определяет степень соответствия методики и плана эксперимента проверяемой гипотезе. ОПЕРАЦИОНАЛЬНАЯ ВАЛИДНОСТЬ представляет частный случай внешней. Она определяет степень соответствия используемой экспериментальной методики, метода (экспериментальных утверждений) теоретическим положениям, которые положены в основу организации и проведения данного эксперимента.

Д) ЭМПИРИЧЕСКАЯ ВАЛИДНОСТЬ - совокупность характеристик валидности теста, полученная сравнительным статистическим способом оценивания.

- ОЧЕВИДНАЯ ВАЛИДНОСТЬ - представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого и другого лица, не располагающего специальными сведениями о характере использования и целях методики.

- КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ - комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определённому кругу критериев развития измеряемого свойства.

ТЕКУЩАЯ ВАЛИДНОСТЬ (ДИАГНОСТИЧЕСКАЯ или КОНКУРЕНТНАЯ) - мера способности теста дифференцировать испытуемых по изучаемому признаку. ТЕКУЩАЯ ВАЛИДНОСТЬ теста определяется исходя из его «трудности» и меры изменчивости измеряемого признака.

ПРОГНОСТИЧЕСКАЯ ВАЛИДНОСТЬ - является элементом достоверности теста и определяется как степень точности и обоснованности суждения о диагностируемом психическом свойстве, по его результату спустя определённое время после измерения.

Показателем ПРОГНОСТИЧНОСТИ ТЕСТА - является степень регрессии тестовых данных к объективным критериям.

РЕГРЕССИЯ - это функция, описывающая зависимость среднего показателя теста, измеряющего данное свойство от заданных фиксированных значений реального проявления этого свойства. Физический смысл её заключается в приравнивании зависимой и независимой переменных. Изменение зависимой переменной прямо определяет изменение независимой переменной.

4) ЭКОЛОГИЧЕСКАЯ ВАЛИДНОСТЬ - определяет насколько условия эксперимента имитируют исследуемую реальность. В полевых экспериментах экологическая валидность достигает максимума естественным образом, соответственно в лабораторных экспериментах соблюсти высокую степень экологической валидности достаточно тяжело, причём невсегда это необходимо.

В контексте статистического оценивания достоверности эмпирических результатов вводится понятие НАДЁЖНОСТИ ДАННЫХ.

НАДЁЖНОСТЬ - точность психодиагностических измерений.

НАДЁЖНЫМИ - считаются данные, которые при повторном их получении в тех же процедурных условиях дают незначимые отклонения от первоначальных величин. В этом случае надёжность связывается не просто со стабильностью тех или иных эффектов, а также с требованием их вероятностной оценки на основе статистических решений.

НАДЁЖНОСТЬ - характеристика метода психологического исследования или психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость (стабильность) результатов теста к действию посторонних случайных факторов

НАДЁЖНОСТЬ и ВАЛИДНОСТЬ являются важнейшими характеристиками методов и методик как инструментов психологического исследования.

На устойчивость (стабильность) показателей теста влияют: состояние и утомление обследуемого; эргономические факторы (освещённость, температура в помещении, вибрация, шум); характеристика деятельности (монотонность-динамичность, помехи и т.д.); настроение и мотивация респондентов на обследование; степень обучаемости (или натренированности) испытуемых и т.д.

Надёжность результатов тестирования зависит от изменчивости инструмента психологического измерения и от факторов нестабильности самой процедуры измерения. НАДЁЖНОСТЬ, таким образом, есть степень согласованности результатов тестирования, получаемых при первом и последующих измерениях.

НЕНАДЁЖНОСТЬ ДАННЫХ психологического исследования может быть следствием множества причин: колебания самих измеряемых переменных, ошибки измерения, влияния побочных факторов, обеспечивающих несистематические сдвиги в фиксируемых показателях.

На практике наиболее широко применяются следующие

ТИПЫ НАДЁЖНОСТИ:

1) надёжность ретестовая (Тест-ретест надёжность);

2) надёжность параллельных форм;

3) надёжность частей теста (надёжность как гомогенность тестов).

Определение коэффициента надёжности в первых двух случаях вычисляется по формулам расчётов коэффициентов корреляции (в зависимости от шкала, в которой измерены данные) между первым и последующим измерениями или между параллельными формами теста.

Расчёт коэффициента надёжности при исследовании ГОМОГЕННОСТИ ТЕСТА осуществляется путём разделения теста на равные субтесты и расчёта корреляции между этими частями.

ПРОГНОСТИЧНОСТЬ - предположение о развитии измеренного свойства.