Психодиагностическая оценка надежности сотрудника. Учебное пособие для студентов вузов

ãäå Ìõ — средние значения тестовых данных (математическое ожидание); n — количество испытуемых;

δ— среднеквадратическое отклонение;

ãäå φ1 — угол, соответствующий большей процентной доле; φ2 — угол, соответствующий меньшей процентной доле; n1 — количество наблюдений в первой выборке;

n2 — количество наблюдений во второй выборке.

Анализ результатов исследования при помощи, например, t-кри- терия Стьюдента осуществляется по следующему алгоритму:

(а) производится расчет значений t-критерия;

(б) по количеству испытуемых осуществляется вход в таблицу «Квантилей t-распределения Стъюдента…» (см. табл. 2.7);

(в) значение расчетного t-критерия (tp) сравнивается с таблич- ным значением (tò);

(ã)åñëè tp> tò, то выборки значимо различаются на уровне доверительной вероятности;

(ä)åñëè tp <tò, то группы испытуемых принадлежат одной совокупности.

Разберем ситуацию, когда требуется определить однородность выборок по средним значениям уровня интеллекта, измеренного при помощи ТПА-САД, т.е. какие контрольные группы вместе с экспериментальной принадлежат одной совокупности. Показатели тестирования экспериментальной группы и трех контрольных выборок приведены в табл. 2.14. Исследование однородности можно произвести с использованием параметрического критерия Стъюдента, так как эмпирические данные представлены на интервальном уровне.

В итоге проведенных расчетов t-критерий по средним данным экспериментальной и первой выборок равен 3,91 (p < 0,001)1; t-критерий по данным экспериментальной и второй выборок равен

1 Расчет конкретного уровня значимости по t-критерию проводить не обязательно. Достаточно определить, что он находится в рамках доверительного интервала р ≤ 0,05.

41

1,1, (p <0,3); t-критерий по данным экспериментальной и третьей

выборок равен 0,21, (p <0,8). tò0,05 составляет 2,01. При сравнении значений табличных и расчетных критериев получим

tp ý-1> tò; tp ý-2<tò è tp ý-3<tò.

Таблица 2.14. Тестовые (сырые) показатели методики САД

Таким образом, экспериментальная группа и первая контрольная выборка значимо различаются. Вторая и третья выборки с экспериментальной группой составляют одну совокупность, т.е. однородны или эквивалентны.

Стандартизация психодиагностики. Стандартизацией называется процесс унификации, регламентации, приведения к единым нормативам процедуры психологической диагностики и тестовых показателей. Стандартизация позволяет осуществлять сопоставление экспериментальных данных, полученных при помощи методик различной размерности. В результате обработки тестовых показателей получают сырые баллы, которые переводятся в стандартные

42

оценки, составленные в соответствии с законом нормального распределения.

Различают две формы стандартизации:

(1)обработка данных, регламентация процедуры проведения тестирования и его периодичности, унификация инструкции и бланков, способов регистрации результатов, постоянство условий проведения обследования, характеристик контингента обследуемых и т.д.;

(2)преобразование нормальной (или искусственно нормализованной) шкалы оценок в новую шкалу, основанную на опре-

делении места сырой оценки испытуемого в распределении показателей, методики, разработанной на репрезентативной выборке испытуемых.

Стандартизация второго вида основывается на понятии нормы. Норма иногда вводится как основание достоверности результатов психологического измерения. Это понятие относительное. А. Анастази отмечает, что любая норма ограничивается конкретной совокупностью людей, для которых она вырабатывалась, и применительно к психологическим тестам она не абсолютна и не постоянна.

Наиболее распространенные преобразования первичных оценок в психометрии — центрирование и нормирование посредством

среднеквадратических отклонений.

Центрирование — это линейная трансформация величин измеренного признака, при которой средняя величина распределения

становится равной нулю.

Нормирование заключается в переходе к другому масштабу (единицам) измерения (Sc), который базируется на принципе нормальности распределения эмпирических показателей при переходе к стандартным величинам и осуществляется по формуле:

Ì— заданное среднее значение.

В качестве функции Sc обычно используют Z-показатель (стандартный показатель), выражающий отклонение индивидуального

43

результата õi в единицах, пропорциональных стандартному отклонению единичного нормального распределения, т.е. Ì = 0, à À = 1.

Z-показатель (z) определяется по формуле

На практике наиболее часто используются: накопленные проценты (в шкале наименований); процентили (перцентили) — типичные стандартные оценки; стандартные IQ-баллы (Ì = 100, À = 15); T-показатели (Ì = 50, À = 10) и стэны шкалы (Ì = 5,5, À = 2).

Вопросы для самоконтроля

1.Каковы особенности применения методов непараметрической и параметрической статистики при анализе эмпирических данных?

2.Определите и объясните содержательно-процессуальное отличие корреляционного, факторного, кластерного и регрессионного анализа эмпирических данных.

3.Каковы сущность и значение стандартизации тестовых показателей?

44

3 Объективность психодиагностической информации

В практике психологической диагностики основная цель — независимое от мнения психолога выявление величины признака. Психологу важно стремиться объективно оценить психическую особенность испытуемого. Это может быть достигнуто путем многократного применения различных диагностических средств, длительного наблюдения за проявлениями признака различными субъектами, а также путем выявления высокочастотной вероятности его оценки в различных или типовых ситуациях.

Объективность в психодиагностике — это адекватность и независимость результатов оценки качества или свойства от субъективности исследователя.

Путем абстрагирования психолога от индивидуальности интерпретацией результатов исследования является ситуация, когда признак определенно и однозначно выявляется у большинства испытуемых разными исследователями. Однако опыт психолога позволяет интуитивно или на основе накопленных фактов и сформулированного алгоритма отсекать незначимую, необъективную информацию, тем самым объективируя свой субъективный вывод.

Объективность психодиагностики вообще и тестовых показателей в частности достигается путем приобретения опыта получения, использования и интерпретации полученных данных, а также неуклонного соблюдения критериев достоверности психологического измерения.

Опыт психолога как показатель объективности психологического исследования проявляется, по крайней мере, в трех аспектах — в процессе психодиагностики с течением времени:

(1)психолог сравнивает результаты своей субъективной оценки с результатами жизнедеятельности испытуемых. Накопленный эмпирический результат приобретает объективность в этом сопоставлении. Редактируется и корректируется оценка. Она становится реальной и объективной;

45

(2)психолог корректирует и сам инструмент исследования. «Отсекаются» незначимые показатели и шкалы, изменяется их интерпретация, разрабатываются новые нормы и критерии оценки;

(3)усваивается и чужой опыт через публикации и в ходе непо-

средственного обмена информацией.

Все эти факты могут проиллюстрировать перевод субъективной

психологической оценки психолога в русло объективного вывода. Под достоверностью следует понимать достаточную для данного

уровня психологических представлений правильность (истинность) результатов. Допустимая ошибка не должна превышать степень предположения о действительной величине признака. Достоверность может складываться из точности измерений и адекватности оценки реально исследуемого признака.

На практике достоверность психологического измерения определяется: (1) валидностью (соответствием тестовых данных изме-

ряемому свойству), (2) надежностью (точностью психодиагностиче- ских измерений) и (3) прогностичностью (предположение о разви-

тии измеренного свойства) применяемых психологических методик.

Валидностью психологического измерения свойств субъекта называется мера соответствия тестовых оценок представлениям о сущности свойств или их роли в той или иной деятельности человека (рис. 3.1).

Классификация видов и типов валидности и их наименования разноплановые.

Как типы определяется внешняя и внутренняя валидность. Внешняя валидность есть мера возможности распространения ре-

зультатов тестирования на генеральную совокупность. Внешняя валидизация осуществляются путем отработки репрезентативности экспериментальной выборки при отработке теста и перекрестной валидизации, т.е. определения валидности теста на выборке, отли- чающейся от той, на которой отрабатывался стимульный материал

и задания к тесту.

Репрезентативность — это представительность экспериментальной выборки, отражающая основные свойства генеральной совокупности, которые определяются путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками исследуемой популяции в целях определения их

однородности.

Ê качественным характеристикам могут быть отнесены социаль- но-демографические, видовые, интеллектуальные (образовательные), профессиональные и другие характеристики популяции (группы),

46

которые являются предметом исследования или существенно влияют на него.

Ðèñ. 3.1. Структура валидности

Количественная характеристика экспериментальной группы — это минимальная ее численность, которая сохраняет свойства генеральной совокупности. Формирование репрезентативной выборки по количественному признаку осуществляется на основе теоремы П.А. Чебышева о гипотезе вероятности ошибки репрезентативности.

В психологической литературе существует несколько теоретиче- ских подходов к расчету объема минимальной репрезентативной выборки. Часто приводятся таблицы опытно полученных данных. С. Москвин отмечает, что при объемах генеральной совокупности 400, 500, 1000, 2000, 5000, 10 000 и более 10 тыс. чел. минимальная выборка составляет соответственно 200, 222, 286, 333, 370, 398

47

и 400 испытуемых. Г. Лоза указывает на следующее соотношение генеральной совокупности и объема экспериментальной выборки при проведении социологических исследований: 100/16-17, 300/50, 1000/100 и 5000/200 испытуемых и т.д.

В ходе анализа психологических данных для расчета объема минимальной репрезентативной выборки используются формулы:

(1)расчета объема минимальной репрезентативной выборки при нахождении доли элементов генеральной совокупности, обладающих некоторым признаком (номинальная измерительная шкала):

(2)расчета объема минимальной репрезентативной выборки при нахождении средней признака (интервальная измерительная шкала):

(3) расчета объема минимальной репрезентативной выборки:

ãäå n — объем минимальной репрезентативной выборки испытуемых;

t — коэффициент кратности ошибки, связанный с вероятностью гарантии ошибки выборочного наблюдения (величина t-критерия Стьюдента);

— величина стандартного отклонения;— размер ошибки доверительного интервала измерения признаков; N — объем генеральной совокупности;

ð — частота проявления данного признака; q = 1 – ð.

Перекрестная валидизация производится путем апробации теста на выборке, отличной от экспериментальной. Она осуществляется в целях определения границ применения методики по критерию «характеристика популяции» (для определения уровня развития свойства у сотрудников, сотрудников мужчин-женщин, определенной группы специалистов и т.д.). При этом рассчитываются коэффициенты корреляции между одними и теми же показателями,

48

полученными в результате тестирования разных групп испытуемых. Вывод о возможности применения теста на данной популяции делается при помощи параметрических критериев — F-критерия

Фишера, t-критерия Стъюдента, -критерия Уэлша и др. Внутренняя валидность — это мера соответствия тестовых оце-

нок уровню развития измеряемого свойства. Она состоит, по крайней мере, из пяти элементов:

(1)концептуальной (теоретической) валидности — теоретиче- ского обоснования возможности измерения исследуемого свойства данным психодиагностическим средством;

(2)содержательной валидности — степени репрезентативности содержания заданий теста измеряемой области психических свойств;

(3)конструктной валидности — степени репрезентативности исследуемого психологического конструкта в результатах теста («насколько результаты теста рассматриваются в качестве меры исследуемого психологического конструкта — фактора, свойства» — А. Анастази);

(4)операционной валидности — степени репрезентативности в конкретных экспериментальных операциях реальных операционных условий психической деятельности;

(5)эмпирической валидности — совокупности характеристик валидности теста, полученной сравнительным статистиче- ским способом оценивания и измеряемой при помощи ко-

эффициентов валидности.

К эмпирической валидности относятся: аутовалидность, оче- видная и критериальная валидности.

Аутовалидность представляет собой степень впечатления о дифференцирующей способности методики самого психолога при

апробации теста в ходе самооценки.

Очевидная валидность — представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого и другого лица, не располагающего специ-

альными сведениями о характере использования и целях методики. Критериальная валидность — комплекс характеристик, вклю-

чающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев развития измеряемого свойства. Критериальная валидность оценивается величиной связи, корреляции показателя теста с «внешним критерием»1.

1 «Внешний критерий» — это оценка реального проявления измеряемого свойства или особенности испытуемого в практической деятельности.

49

Текущая (конкурентная или диагностическая) валидность есть мера способности теста дифференцировать испытуемых по изучаемому признаку. Текущая валидность теста определяется исходя из

его «трудности» и мер изменчивости измеряемого признака. Трудностью теста называется отношение количества решенных

к нерешенным заданиям методики. Уровень трудности характеризуется коэффициентом трудности (Тт), который вычисляется по следующим формулам:

где Тт — коэффициент трудности теста;

Np — количество решенных заданий теста; Ní — количество нерешенных заданий теста.

Оптимальная «трудность теста», должна колебаться в пределах 50%. Однако достичь такого положения крайне затруднительно. На практике критериальная «трудность» рассчитывается для всей тестовой батареи, и уже ее значение должно колебаться в пределах 50%, а «трудность» входящих в нее тестов — находиться в пределах «умеренного разброса». Видимо, этот «умеренный разброс» находится в пределах , т.е. 16% (следует также учитывать 5%-ю ошибку вычислений).

где Тт — коэффициент трудности теста;

— стандартное отклонение.

Числа 13 и 4 выбраны экспериментально в целях исключения отрицательных и дробных показателей и удобства расчетов.

Трудность теста, рассчитанного по формуле (3.5), находится в пределах от 1 до 25. Средняя трудность теста имеет значение 13.

К мерам изменчивости измеряемых признаков, как правило, относят характеристики распределения эмпирических данных (нормальность распределения) и характеристики вариации признаков. Нормальность распределения данных определяет численную харак-

теристику дифференциации испытуемых1.

Ширина полосы разброса данных по шкале измерений от min до max — это характеристика вариации признаков. Простейшие измерители вариации признаков — размах вариации (R) (разность

между наибольшим и наименьшим значениями признаков, т.е.

R = xmax – xmin) è дискриминативность заданий (субтестов) или спо-

1 Вычисляется при помощи критерия согласия Пирсона (Хи-квадрат), а также с использованием коэффициентов асимметрии и эксцесса распределения переменных.

50