Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Психология профессиональной пригодности. Учебное пособие для вузов
.pdf
Глава 10. Приемы разработки и оценки методов диагностики...
361
Средний летчик
3. Средние летные способности. Неплохой летчик, однако профес
сиональные навыки недостаточно прочны. Требует больше вни
мания, чем большинство летчиков того же возраста.
2. Летные способности ниже средних. Овладевает летной профес
сией медленнее, чем другие летчики.
1. Недостаточные летные способности. В полетах допускает много
ошибок. Было бы лучше, если бы он не поступал в летное учи
лище, а избрал другую профессию.
10.3. Приемы оценки прогностической
ценности методик
Прогностическая ценность (информативность, прогностич
ность) как отдельных методик, так и интегрального показа
теля профессиональной пригодности может определяться в
зависимости от целей выявления профпригодности (отбор,
подбор, экспертиза и т. д.) по одному из критериев профес
сиональной успеваемости, эффективности реальной дея
тельности, по их совокупности или по ведущему критерию
(по оценке профессиональных способностей).
При сопоставлении указанных параметров большое зна
чение имеет выбор соответствующих математикостатисти
ческих моделей оценки различий и связи между признака
ми. В практике психологического отбора летчиков себя
оправдали такие методы, как анализ альтернативных при
знаков, критерии величины и достоверности различий, кор
реляционный анализ и др.
Основные критерии, по которым можно проводить срав
нение результатов экспериментальнопсихологического об
следования с успешностью летного обучения и деятельнос
ти для определения прогностической валидности методик
психологического отбора, приведены в таблице 2.
Анализ альтернативных признаков. Определяя основные
показатели профпригодности и успешности профессиональ
ного обучения, приходится иметь дело с изменчивостью ка
Слабый (неперспективный) летчик
Раздел II. Методы определения профессиональной пригодности
362
Таблица 2.
Основные показатели оценки результатов экспериментально-
психологического обследования и профессиональной деятельности
илетазакоП
еынтюлосбА
илетазакоп
.д.ти
алакшяаньллаб9
икнецо
еыннаворижнаР
ни
макидотем
етазакоп
юл
иматсет
еоксечиголохисП
)х(еинаводелсбо
хыннешеролсиЧ
ишо,воканз,чадаз
.коб
ьтсорокс,ямерВ
.чадазяинешер
мыньледтооП
умоньларгетнии
умоньларгет
.юлетазакоп
опеинеледерпсаР
оп
воскеднианичилеВ
,йиндерс,йишчуЛ
мыньледтоопйишдух
.жатС
оД
VIиIII,II,I:маппург
еинечубО
)y(ьтсоньлетяеди
опийищботелаН
олсич,ямерв(мадив
.)вотел
хыннеовсоолсиЧ
.вотеломас
хыннещупыволсиЧ
вотнасрук
хынтеликнецО
йетсонбосопс
,йиндерс,йишчуЛ
.йишдух
.ьтсонссалK
.тсарзоВ
.ьтсонжл
.ателомаспиТ
йонтелзиакнецО
.икжинк
чественных признаков, которые в вариационные ряды не рас
пределяются, а рассматриваются как противопоставляемые
друг другу состояния. Например, из 700 кандидатов в IV груп
пу психологического отбора вошло 50 человек. Анализируя
данные, мы противопоставляем эту группу оставшимся 650
кандидатам. В такой альтернативной форме могут рассмат
риваться как качественные, так и количественные признаки
сравниваемых явлений.
Альтернативные признаки выражаются в абсолютных
значениях частот, с которыми они встречаются в данной со
вокупности, а также в долях единицы или в процентах от об
щего числа наблюдений. Например, в отношении обследо
ванных 700 кандидатов можно сказать, что среди них IV
группа составляет 7%.
Основным альтернативным признаком для оценки эф
Глава 10. Приемы разработки и оценки методов диагностики...
363
Таблица 3
Количество курсантов, отчисленных по летной неуспеваемости,
по группам, по 9-балльной шкале психологического отбора
и курсам обучения
пурГ
ап
ал
ОП
9
I
8
7
6
II
5
4
3
III
2
VI1
ирП
акШ
отян
1234 олсич%олсич%
).леч(
масрукопонелсичтОогесВ
фективности психологического отбора в целом следует счи
тать относительное распределение по группам и баллам уча
щихся, отчисленных по различным причинам и отдельно по
профессиональной неуспеваемости (табл. 3).
Аналогично можно проанализировать другие причины
отчислений из училища (теоретическая неуспеваемость, ме
дицинское несоответствие, нежелание учиться, недисцип
линированность).
Прогностическая эффективность отдельных методик и
интегрального показателя психологического отбора могут
быть также определены по формуле:
SS
A
=+100
12
,
N
где А — общий процент оправдавшихся прогнозов; S
, S2—
1
число положительных и отрицательных прогнозов, которые
оправдались; N — общее число кандидатов.
Критерии, по которым оценивается эффективность пси
хологического отбора в отношении успешности освоения
Раздел II. Методы определения профессиональной пригодности
364
Таблица 4
Распределение средних величин ранговых порядков, оценок летных
способностей, числа полетов по группам, 9-балльной шкале
психологического отбора и курсам обучения (1—4)
ОПаппурГалакШ
9
I
II
III
VI1
8
7
6
5
4
3
2
гнаРакнецОвотелополсиЧ
123412 34 1234
программы профессионального обучения (исключая отчис
ленных), приведены в таблице 4.
Имея ранжированные критерии успешности летного обу
чения (оценка летных способностей по 9балльной шкале и
ранговые порядки), необходимо через них проанализировать
прогностичность критериев психологического отбора (табл. 5).
Для правильной оценки полученных средних величин
критериев психологического отбора при сопоставлении их
с критериями успешности обучения необходимым является
определение величины и достоверности различных сравни
ваемых параметров.
Критерии величины и достоверности различий. Прогности
ческая валидность методик в зависимости от характеристик
оценок используемых внешних критериев и теста может оп
ределяться также путем выделения из всего контингента двух
групп: а) заведомо хороших специалистов (лучших); б) бес
спорно плохих (худших) или отчисленных по неспособнос
ти к обучению. Результаты психологического обследования
по методике или интегральному показателю этих групп со
Глава 10. Приемы разработки и оценки методов диагностики...
365
Таблица 5
Распределение средних величин результатов психологического
отбора по 9-балльной шкале летных способностей и ранговым
порядкам при освоении учебного (учебно-боевого) самолета
акидотеМ
гнаР
еишчуЛ
еиндерС
еишдуХ
срепеН
еын
акШ
ал
9
8
7
6
5
4
3
2
1
еынвиткеп
нелсичтО
аппурГ
акнецО
ОП
иксытО
еинав
лесич
ысаЧысапмоKылакШ
агивД
яаньлет
идроок
яицан
ставляют два вариационных ряда, и по различиям между
ними определяется прогностическая валидность. Если ряды
окажутся статистически неразличимы, то данная методика
не содержит сведений для дифференциальной диагностики
пригодных и непригодных специалистов, то есть ее инфор
мативность мала. Чем больше степень различия, тем выше
информативность методики. Сравнение вариационных ря
дов можно проводить с помощью различных методов.
В большинстве случаев, когда распределение вариант в
изучаемых совокупностях достаточно близко к нормально
му виду, для сравнения средних значений применяется кри
терий Стьюдента (1), являющийся величиной безразмерной.
Уровень значимости различий P между сравниваемыми
средними находится по t в специальной таблице. P зависит от
числа степеней свободы (К) или объема выборки (N) и вели
чины t. В практике статистической обработки результатов ис
Раздел II. Методы определения профессиональной пригодности
366
следований принято использовать три уровня значимости: P
= 95%, P2 = 99%, P3 = 99,9%. Величина уровня значимости ус
танавливается самим исследователем в зависимости от степе
ни точности, с какой проводится исследование, и ответствен
ности выводов, вытекающих из него. Обычно уровень
значимости различий между сравниваемыми параметрами,
равный 95%, считается достаточно надежным. Однако в тех
случаях, когда на основании проведенных исследований де
лаются широкие обобщения и выводы особенно строгие,
принимаются (99%) и 99,9%ные уровни. Например, когда
исследователь приходит к выводу о необходимости включе
ния новой методики в комплекс имеющихся тестов или о не
целесообразности приема для обучения определенной кате
гории кандидатов в связи с высоким процентом отчислений
и большими денежными затратами на их подготовку, то уро
вень значимости, конечно, должен быть очень высоким.
В случаях, когда необходимо проверить гипотезу при не
большой выборке и отсутствии нормального распределения,
проверка значимости различий между сравниваемыми пара
метрами может быть осуществлена с помощью критериев, не
требующих трудоемкого вычисления какихлибо статисти
ческих параметров, то есть непараметрических критериев
различия. Кроме того, они весьма удобны для анализа таких
исследований, где сравниваемые показатели выражаются не
в конкретных (абсолютных) мерах измерения (количество
полетов, время и т. п.), а шкалами порядка, баллами или
рангами по изучаемому признаку.
Учитывая, что все методики и интегральный показатель
психологического отбора, а также основные критерии ус
пешности профессионального (летного) обучения выража
ются именно в баллах и рангах, использование непарамет
рических критериев должно найти широкое применение.
Применяя непараметрические критерии различий, необ
ходимо вначале использовать менее мощные (критерий Вил
коксона и критерий Розенбаума), но и менее трудоемкие, а при
получении сомнительных результатов применить более мощ
ные (критерии Ван дер Вардена, Колмогорова—Смирнова).
1
Глава 10. Приемы разработки и оценки методов диагностики...
367
Для определения различий при помощи критерия Вилкок
сона [141] следует расположить все данные в один упорядочен
ный ряд и проставить их ранги (R). Например, необходимо
сравнить результаты психологического отбора по методике
«Шкалы» у лучших (x) и худших (y) по летной подготовке на
учебном самолете — соответственно 9 и 9 курсантов.
Располагаем баллы лучших и худших в упорядоченные
ряды:
x
y
22344 556
23334 6889
Nx9=
N
y
9=
Далее, упорядоченные ряды необходимо проранжиро
вать и подсчитать сумму рангов для каждого из рядов:
R
x
R
123 5,45,55,65,11315,41
y
5,45,55,6015,115,51617181
T
T
5,301=
x
5,16=
y
После подсчета находим в специальной таблице на пере
сечении N
ется с меньшей из суммы T
и Ny критическое значение T, которое сравнива
x
и Ty, и определяется уровень до
x
стоверности различий. В случае, когда меньшая из сумм
превосходит критическое значение T, разница между сравни
ваемыми параметрами считается недостоверной или, наобо
рот, достоверной на 95%ном или более уровне значимости.
В разбираемом случае критическое значение T для N
= 10 на уровне достоверности различий в 95% равно 64, а
и N
y
= 9
x
в 99% — 58. Анализируя прогностичность методики «Шкалы»,
можно отметить, что критическое значение T больше суммы
(меньшая из двух); 65 больше 61,5, а это свидетельствует о
T
y
достоверности различий между лучшими и худшими по летной
подготовке на уровне 95% в выполнении ими данного теста.
Параметрические и непараметрические критерии можно
использовать при определении достоверности различий меж
ду группами психологического отбора, интегральным баллом,
баллами по отдельным методикам, с одной стороны, а с дру
гой — различными категориями отчисленных студентов (кур
сантов), баллами профессиональных способностей, рангами,
Раздел II. Методы определения профессиональной пригодности
368
числом полетов, то есть практически между всеми критери
ями психологического отбора и успешности обучения.
Корреляционный анализ. При изучении взаимосвязи кри
териев психологического отбора с успешностью обучения и
профессиональной деятельности можно заметить, что изме
нения первого признака соответствуют изменениям второго.
В некоторых случаях зависимость проявляется очень сильно,
однако такие однозначные или функциональные связи встре
чаются редко, особенно в психологических исследованиях,
где числовой характеристике теста может соответствовать не
одно определенное значение критерия профессиональной
деятельности, а целый ряд их варьирующих значений.
В большинстве психологопедагогических исследований
связь между результатами обследования и успешностью обуче
ния довольно часто и сильно нарушается различными привхо
дящими факторами, поэтому она не всегда может быть четко ус
тановлена. В таких случаях зависимость между изучаемыми
критериями носит характер, при котором каждому значению
одной из переменных соответствует не какоето конкретное зна
чение, а определенная групповая средняя другой переменной.
Такая связь называется корреляционной (корреляция), а
математический анализ связей, существующий между ними,
составляет содержание корреляционного анализа.
В задачи корреляционного анализа при определении
прогностической валидности методик входит измерение
тесноты или степени сопряженности между варьирующими
признаками, ее направления и формы, а также последующая
оценка достоверности полученных показателей связи.
Корреляционную связь между изучаемыми признаками
можно обнаружить с помощью ряда показателей. Решению
вопроса о выборе наиболее адекватного метода помогает
предварительное расположение в определенном порядке
двух сопряженных рядов, позволяющее судить о наличии
или отсутствии связи между ними. Более информативным
является составление корреляционных матриц и графиков
регрессии, дающих наглядное представление о форме и на
правлении корреляции, а также ее динамике.
Глава 10. Приемы разработки и оценки методов диагностики...
369
При выборе того или иного показателя необходимо
учесть, по каким признакам проводится корреляционный
анализ (качественным или количественным), форму корре
ляционной зависимости (линейная или нелинейная) и воз
можность группирования изучаемых величин в вариацион
ные ряды. Следует помнить, что корреляционный анализ
служит инструментом только количественного выражения
связей между варьирующими признаками и позволяет оце
нить достоверность корреляции. Поэтому, несмотря на
большую ценность этого метода, его не следует переоцени
вать, а тем более подменять им профессиональный и пси
хологопедагогический анализ факторов.
При изучении связи между критериями психологическо
го отбора и успешностью летного обучения целесообразно
построение «корреляционной решетки» (табл. 6).
Образец построения корреляционной решетки
y
123456 789
P
1
2
yx
P
yx
P
yx
3
4
P
yx
5
6
7
8
9
Sx1Sx2Sx3Sx4Sx5Sx6Sx7Sx8Sx
P
x
x
P
yx
P
yx
P
yx
Таблица 6
для 9-балльной шкалы
P
y
Sy
1
Sy
2
Sy
3
Sy
4
Sy
5
Sy
6
P
yx
Sy
7
Sy
P
8
yx
Sy
9
Pyx=N
9
Раздел II. Методы определения профессиональной пригодности
370
Частота вариант сопряженных видов — Pxy, занимая в
таблице определенное положение, позволяет судить о нали
чии и направлении и частично о тесноте связи между бал
лами психологического отбора и баллами успешности лет
ного обучения (варьирующими признаками) — x и y.
Если частоты P
диагонали с левого верхнего угла решетки к правому ниж
нему, как показано в нашем примере, — это указывает на
положительную связь между признаками. При отсутствии
корреляционной связи частоты распределяются по клеткам
корреляционной решетки равномерно. О наличии отрица
тельной связи свидетельствует распределение частот в на
правлении от верхнего правого к нижнему левому углу. Это
правомерно для тех случаев, когда баллы (классовые вари
анты) располагаются по возрастанию или убыванию (одно
направленно) слева направо сверху вниз.
После предварительного изучения (по характеру распре
деления частот в корреляционной решетке) тесноты и на
правления связи при определении необходимости дальней
шего анализа вычисляется коэффициент корреляции (r).
При изучении корреляции между критериями, выражен
ными в абсолютных величинах и с небольшим количеством
сопоставляемых пар, техника вычисления r довольно проста.
Например, необходимо изучить связь между результатами
выполнения методики «Часы» (число ошибок) — x и коли
чеством полетов на учебнобоевом самолете — y (табл. 7).
Для вычисления коэффициента корреляции необходи
мо еще определить величину дисперсии — С для x, y, d по
формуле
Cx
=−
x
∑
располагаются преимущественно по
xy
2
x
)
(
∑
2
N
Подставляя значения из таблицы в формулу, находим:
= 69,6; Cy = 878,9; Cd = 470,9; r = 0,965. Устанавливаем
C
x
достоверность полученного коэффициента корреляции:
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]