Анализ результатов пилотажного обследования

Анализ результатов пилотажного обследования – один из центральных моментов процедуры оценки пригодности психодиагностических методик, отобранных для использования в мероприятиях ППО. Проведение данного анализа предполагает наличие у психолога определенного опыта и знаний, причем в первую очередь – знаний и навыков статистической обработки данных. К сожалению, подавляющее большинство молодых психологов слабо разбираются в вопросах статистики и не всегда могут самостоятельно осуществить статистический анализ полученных экспериментальных материалов. В результате при интерпретации экспериментальных данных и результатов их статистического анализа делаются ошибочные выводы, которые приводят к снижению прогностичности и надежности мероприятий профессионального психологического отбора. Однако с развитием компьютерной техники статистическая обработка данных значительно упростилась. В настоящее время практически любой специалист-психолог может обработать данные при наличии компьютера и соответствующих прикладных программ. В этом разделе мы рассмотрим основные приемы статистической обработки данных, обеспечивающие получение адекватных результатов[102].

Для статистической обработки результатов пилотажного исследования введем полученные данные в программу Excel (см. главу 12). В результате получим электронную таблицу, состоящую из 13 столбцов. В первом столбце записано имя и инициалы обследуемого, во втором – качественный показатель успешности его профессиональной деятельности. Поскольку всех обследуемых мы разделили на три подгруппы, им надо присвоить условные обозначения: успешных обозначим цифрой 1, среднеуспешных – 2, а малоуспешных – 3. В результате получим примерно такую электронную таблицу, которая представлена на рис. 13.9.

Рис. 13.9

Необходимо отметить, что обозначать группы надо обязательно. Поскольку программа Excel осуществляет операции только с цифрами, то по возможности любую качественную информацию следует представлять в виде цифр. В данном случае, обозначив каждую группу обследованных своей цифрой, мы получили возможность учитывать качественные характеристики при проведении статистического анализа, а также «привязали» каждого обследованного сотрудника организации «Дельта-Юкон» к конкретной подгруппе в зависимости от показателей успешности его деятельности.

В следующих пяти столбцах представлены результаты выполнения четырех интеллектуальных субтестов и общая сумма баллов, характеризующая общий уровень интеллектуального развития (ОИР) менеджера по продажам[103]. Следующие четыре столбца содержат информацию о результатах, полученных по тесту МЛО «Адаптивность». Применительно к решению нашей задачи были использованы четыре базовые шкалы этого теста: нервно-психическая устойчивость (НПУ), коммуникативный потенциал (КП), ориентация на морально-нравственные нормы окружающей среды (моральная нормативность – МН) и интегральный показатель – личностный адаптационный потенциал (ЛАП). В последние два столбца электронной таблицы были занесены результаты выполнения теста Реана, оценивающего у обследованных уровень мотивации достижения, и теста Бурдона.

Когда результаты пилотажного обследования внесены в электронную таблицу, можно приступать к статистической обработке данных. Прежде всего следует определить характер распределения показателей по каждой из использованных методик.

Следует отметить, что форма распределения данных является важным способом «описания» переменной. Она (форма распределения) показывает, с какой частотой значения переменной попадают в определенные интервалы, так называемые интервалы группировки. Обычно исследователя интересует, насколько точно можно аппроксимировать распределение. Например, если асимметрия (показывающая отклонение распределения от симметричного) существенно отличается от 0, то распределение несимметрично, в то время как нормальное распределение должно быть абсолютно симметрично. Итак, у симметричного распределения асимметрия равна 0. Асимметрия распределения с длинным правым хвостом положительна. Если распределение имеет длинный левый хвост, то его асимметрия отрицательна. Далее, если эксцесс – параметр, показывающий «остроту пика» распределения, – существенно отличен от 0, то распределение имеет или более закругленный пик, чем нормальное, или, напротив, более острый пик (возможно, имеется несколько пиков). Эксцесс нормального распределения равен 0.

Надо иметь в виду, что в психологии идеальные распределения результатов тестирования встречаются крайне редко. Это можно обнаружить лишь на очень больших по объему выборках обследованных. Поэтому в большинстве случаев исследователь должен оценить, насколько близко распределение полученных значений к нормальному, и принять решение о том, можно считать его нормальным или нет. От решения психолога зависят выводы, которые он сделает, и несколько следствий. Если форма распределения результатов принимается как нормальная, то, во-первых, в отношении показателей выполнения соответствующей методики в дальнейшем могут быть использованы параметрические методы статистической обработки данных. Во-вторых, нормальное распределение полученных показателей свидетельствует о реальном существовании измеряемого качества, причем данная методика способна дифференцировать обследуемых по выраженности этого психологического качества. Если же нормального распределения не обнаружено, то психологу предстоит определить причины этого факта. Отсутствие нормального распределения может быть обусловлено конструктивными особенностями методики, что делает ее непригодной для использования в мероприятиях ППО. Однако в некоторых случаях отсутствие нормального распределения может быть связано со спецификой группы обследованных.

Например, если вы обследуете студентов первого курса, обучающихся на бюджетной основе и прошедших конкурсный отбор (5–6 человек на одно место), то вполне вероятно, что вы не обнаружите нормального распределения для показателей общего интеллектуального развития. Данный факт не означает, что методика, которую вы применили для диагностики, непригодна, и тем более не может означать, что такого психологического феномена, как интеллект, не существует. В приведенном примере отсутствие нормального распределения по показателям общего интеллектуального развития обусловлено прежде всего особенностями выборки.

Достаточно точную информацию о форме распределения показателей можно получить с помощью критериев нормальности, таких как критерий Колмогорова-Смирнова или W-критерий Шапиро-Уилка. Однако применение этих критериев требует специальной подготовки, но самое главное, что ни один из них, как считают многие специалисты в области математической статистики, не может заменить визуальную проверку с помощью гистограммы – графика, показывающего частоту попаданий значений переменной в отдельные интервалы. Поэтому для проверки соответствия полученных показателей психодиагностического обследования требованиям нормального распределения воспользуемся возможностями программы Excel и построим гистограммы для каждого показателя.

В качестве примера рассмотрим построение гистограммы для показателей интегрального значения теста МЛО «Адаптивность». С этой целью открываем наш файл, содержащий данные результатов пилотажного обследования. В меню программы Excel выбираем пункт «Сервис», в нем – «Анализ данных», а затем – «Гистограмма» (рис. 13.10).

Рис. 13.10

В окне подпрограммы «Гистограмма» в строке «Входной интервал» вводим координаты параметров, в отношении которых необходимо построить гистограмму. В данном случае интересующие нас данные располагаются в столбце «К». Поэтому указываем следующий интервал: «К1: К55».

В нашем пилотажном исследовании приняли участие 54 человека. Однако мы указали 55 ячеек, поскольку в первой ячейке дано название анализируемого психологического качества. Для того чтобы программа Excel не воспринимала эту ячейку за ячейку с данными, не забываем поставить галочку в пункте «Метки». Далее в «Параметрах вывода» указываем «Новый рабочий лист». Затем ставим галочку напротив пункта «Вывод графика» и нажимаем кнопку «ОК» (рис. 13.11).

Рис. 13.11

В появившемся новом рабочем листе книги Excel перед вами предстанет гистограмма данных[104], из которой следует, что полученное распределение показателей очень близко к нормальному (рис. 13.12).

Следовательно, используемая нами психодиагностическая методика позволяет ранжировать всех испытуемых в отношении уровня развития адаптационного потенциала личности. Кроме того, мы получили подтверждение тому, что такое психологическое качество, как адаптационный потенциал личности, реально существует, а методика, предназначенная для его измерения, может подвергаться статистическому анализу с применением параметрических методов анализа.

Рис. 13.12

Далее по аналогии с приведенным выше примером строим гистограммы для всех полученных в ходе пилотажного исследования показателей. В нашем конкретном случае мы получили нормальное распределение практически по всем методикам. Исключение составляют показатели по тесту Бурдона. Это объясняется тем, что обследуемые показали очень близкие результаты. Данный факт может быть объяснен как конструктивными особенностями теста, так и тем, что в процессе выполнения профессиональных обязанностей происходит постоянная тренировка внимания. Столкнувшись с подобной ситуацией, мы должны были бы принять решение об исключении данной методики из списка психологических методик, планируемых к использованию в мероприятиях ППО. Однако на данном этапе мы этого делать не будем. Такое решение основывается прежде всего на том, что обследуемые уже имели довольно большой опыт работы в должности и это качество – внимание – как достаточно востребованное постоянно тренировалось в процессе профессиональной деятельности (как вы знаете, внимание можно тренировать). Более того, внимание является профессионально важным качеством, но не определяющим. Как мы установили в ходе анализа результатов психографического опроса, приоритетными качествами в отношении успешной профессиональной деятельности менеджера по продажам выступают личностные качества. Поэтому вполне возможно, что для эффективного выполнения профессиональных обязанностей будет достаточно даже невысокого, но определенного уровня развития внимания, однако не ниже этого. Поскольку на данном этапе у нас нет всей объективной информации, то мы пока оставим этот тест в перечне возможных для применения психодиагностических методик, а окончательное решение примем на последующих этапах анализа.

Прежде чем перейти к другим этапам анализа результатов, полученных в ходе пилотажного исследования, следует отметить, что программа Excel позволяет осуществить практически все необходимые психологу виды анализа. Однако для проведения отдельных видов анализа ее возможностей может быть недостаточно. Поэтому психолог помимо Excel должен владеть и другими программами. Мы считаем, что наиболее оптимальным для статистического анализа психологических данных будет сочетание прикладных программ Excel и Statistica. Программа Statistica – очень мощный универсальный инструмент, позволяющий выполнять самые разные виды математико-статистического анализа. Преимущество данной программы перед подобными программами заключается в том, что она способна оперировать данными, содержащимися в файлах Excel. Поэтому когда возникает необходимость провести более сложный вид анализа (например, факторный анализ или построение регрессионное уравнение с использованием метода множественной регрессии и т. п.), то файл в формате программы Excel можно открыть в Statistica без дополнительных действий и сделать необходимый статистический анализ.

У Statistica большие, чем у Excel, возможности; кроме того, она предоставляет более подробную информацию по результатам проведенного анализа. Например, на рис. 13.13 отражены итоги построения гистограммы результатов, показанных сотрудниками организации «Дельта-Юкон» по тесту МЛО «Адаптивность» в ходе проведения пилотажного исследования.

Рис. 13.13

В данном случае мы получаем возможность одновременно оперировать не только визуальным изображением, но и некоторыми показателями. Конечно, программа Statistica требует определенной подготовки и навыков работы, а информацию о методах, включенных в данный пакет программ математико-статистического анализа, можно найти на официальном сайте создателей этой программы: http://www.statsoft.ru/home/textbook/default.htm.

О программе Statistica более подробно мы поговорим немного позже, когда будем решать вопрос о разработке алгоритма вынесения итогового заключения. А теперь вернемся к анализу данных, полученных в ходе пилотажного обследования сотрудников «Дельта-Юкон». Проанализировав характер распределения результатов по всем использованным методикам (в том числе и по субтестам), необходимо посмотреть, по каким показателям группа успешных менеджеров по продажам отличается от менее успешных коллег. Обычно для этого используют t-критерий Стьюдента, потому что он позволяет ответить на вопрос о том, пересекаются или нет результаты двух множеств данных. Если результаты не перекрывают друг друга, то можно говорить о существовании различий, причем чем меньше вероятность пересечения показателей, тем выше вероятность того, что по сравниваемому признаку два множества данных действительно отличаются друг от друга.

В нашем конкретном случае эти два множества данных составляют результаты тестирования успешных и малоуспешных менеджеров «Дельта-Юкон». Снова воспользуемся возможностями программы Excel. Однако, прежде чем приступить к анализу, внимательно посмотрите на свою электронную таблицу, в которую вы внесли результаты пилотажного обследования.

Для определения t-критерия Стьюдента необходимо, чтобы данные всех представителей одной и той же группы шли один за другим. Например, во вторую строку таблицы (в первой расположены названия или условные наименования методик) вы занесли результаты выполнения психодиагностических тестов одного из представителей группы успешных менеджеров по продажам. Тогда в третью строку необходимо внести результаты второго представителя этой же группы, в четвертую – третьего и так до тех пор, пока не будут занесены результаты всех представителей данной группы. Затем вносятся все результаты всех представителей другой группы и т. д. В итоге у нас должна получиться таблица, состоящая из трех подтаблиц. Однако если при занесении в электронную таблицу вы не учли это требования, то ничего страшного не случится и повторно вносить полученные в ходе пилотажного обследования данные вам не придется.

Программа Excel позволяет перекомпоновывать внесенные в таблицу данные. В нашем случае мы воспользуемся одной из функций программы Excel – «Сортировка». Для этого подведите курсор к кнопке, которая расположена в верхнем правом углу листа рабочей книги Excel на месте пересечения системы координат.

В процессе нашего знакомства с программой Excel вы уже, конечно, поняли, что расположение любой ячейки на рабочем листе Excel может быть задано координатами, содержащими одну букву и одну цифру. Буквенный компонент координаты обозначает конкретный столбец рабочего листа, а цифровой – порядковый номер строки. В программе Excel над первой строкой рабочего листа слева направо располагаются буквы, обозначающие конкретный столбец, а слева и сверху вниз – цифры, обозначающие порядковый номер строки. В данном случае нас интересует кнопка, расположенная на месте пересечения систем координат. Справа от нее располагаются буквы системы координат, начиная с А, а под ней – цифры системы координат начиная с 1. В руководстве по Excel эта кнопка называется «Выделить все».

Подведя курсор мыши к этой кнопке, щелкните левой кнопкой мыши. В результате весь лист рабочей книги будет выделен. Затем в панели меню выбираем «Данные», а в нем – пункт «Сортировка». Откроется окно подпрограммы «Сортировка диапазона». Оперируя инструментами, представленными в данном окне, нам необходимо задать порядок и условия сортировки данных. Для того чтобы разделить весь массив данных на группы успешных, среднеуспешных и недостаточно успешных, нам необходимо указать в самом верхнем окошке под названием «Сортировка по…» столбец, в котором располагается информация о том, к какой группе успешности относится каждый из обследованных сотрудников. В нашем случае мы внесли информацию о принадлежности обследованных к конкретной группе успешности во второй столбец (сразу за столбцом с фамилиями и инициалами обследованных) и присвоили ему условное наименование «Успешность». Соответственно, нажав на кнопку в правой части этого окошка, из ниспадающего меню выбираем название нужного нам столбца[105].

Далее нам необходимо определить порядок сортировки. Для этого в блоке переключателей, расположенных справа от верхнего ниспадающего меню, необходимо поставить галочку напротив строки «по возрастанию» или «по убыванию». В нашем конкретном случае выберем пункт «по возрастанию». Так как мы присвоили группе наиболее успешных менеджеров порядковый номер 1, а группе наименее успешных – № 3, то после завершения операции сортировки все обследуемые окажутся расположенными в следующем порядке: в верхней части таблицы – представители группы наиболее успешных менеджеров, затем – представители со средними показателями эффективности профессиональной деятельности, а в нижней части таблицы будут находиться менее успешные менеджеры.

Указав порядок ранжирования, перемещаемся в нижнюю часть окна «Сортировка диапазона», в пункт меню «Идентифицировать диапазон данных по…» и активизируем подпункт «подписям (первая строка диапазона)». Тем самым мы указываем программе Excel, что в первой строке выделенного диапазона находятся наименования признаков и поэтому с первой строкой диапазона данных никаких операций совершать не надо.

Закончив все описанные выше действия, нажимаем кнопку «ОК» (рис. 13.14.) В результате все обследованные в ходе пилотажного обследования сотрудники «Дельта-Юкон» будут сгруппированы по показателю эффективности профессиональной деятельности. Причем следует обратить внимание на то, что неопытные пользователи очень часто совершают ошибки при выполнении столь несложного действия, как «Сортировка». Например, выполнив нужные действия, но при этом забыв, что нужно выделить весь лист, мы на самом деле осуществим сортировку всего лишь одного показателя (того, который укажем). Все остальные показатели останутся на своих местах. Подобная ошибка ведет к нарушению структуры групп, и результаты дальнейшего анализа будут далеки от реальных. Для того чтобы избежать этого, неопытным пользователям рекомендуется до выполнения операции «Сортировка» выбрать результаты двух-трех обследуемых, скопировать их в буфер обмена и вставить на чистый рабочий лист, а после сортировки сверить показатели тестов конкретных людей с тем, что у них было до сортировки. Если они окажутся идентичными – то все сделано правильно.

Рис. 13.14

Сгруппировав результаты обследованных в соответствующие группы, можно приступать к сравнению показателей выполнения психодиагностических методик группой успешных и низкоуспешных менеджеров по продажам. Как уже было отмечено выше, при операции сравнения будем использовать t-критерий Стьюдента, а для его подсчета воспользуемся встроенными функциями программы Excel.

Согласно формуле определения t-критерия Стьюдента

нам необходимо для каждой из двух групп определить среднее значение (М) и среднюю ошибку (т). Определить среднее значение в Excel можно достаточно легко, воспользовавшись встроенной функцией (вы уже знаете, как это делается).

В свою очередь, средняя ошибка вычисляется по формуле

где S – стандартное отклонение, а и – количество показателей в группе. Значения стандартного отклонения и количество показателей можно подсчитать с использованием встроенных в Excel функций, а формулу определения средней ошибки нам предстоит ввести вручную.

Для того чтобы приступить к работе, скопируйте строку с названием анализируемых показателей в буфер обмена и вставьте ее копию на две или три строки ниже строк с экспериментальными данными. Это позволит избежать возможных технических ошибок и обеспечит дальнейшую работу. Далее подведите курсор мыши к сделанной вами копии строки наименований и выделите ячейку, распложенную под названием первого параметра. В нашем случае это ячейка под столбцом с данными, отражающими показатели выполнения сотрудниками «Дельта-Юкон» субтеста «Аналогии». Предположим, что ее координаты на электронной таблице будут С58. Данная ячейка послужит нам местом расположения средних значений показателя по субтесту «Аналогии» группы успешных менеджеров по продажам.

Выделим данную ячейку и подсчитаем среднее значение в соответствии с примером, который был рассмотрен в предыдущем параграфе. Будьте внимательны при указании диапазона данных. Не забывайте, что необходимо определять значения не для всей выборки, а отдельно для групп успешных и слабоуспешных менеджеров. В нашем конкретном случае после сортировки данных по возрастанию удобнее начать с группы успешных менеджеров, результаты обследования которых располагаются в верхней части электронной таблицы, а результаты обследования неуспешных менеджеров – в нижней части. Следовательно, в ячейке С58 будут располагаться средние значения показателей по субтесту «Аналогии» группы наиболее успешных менеджеров. В данном случае среднее значение по субтесту «Аналогии» для успешных менеджеров составляет 23,57.

Определив среднее значение для группы успешных менеджеров по продажам, выделяем ячейку С59. В этой ячейке – показатель стандартного отклонения значений для группы успешных сотрудников. Проводим расчеты стандартного отклонения по образцу, приведенному в предыдущей главе, и получаем значение, равное 2,44.

Теперь нам необходимо определить среднюю ошибку для группы успешных менеджеров. Для этого нужно подсчитать общее количество менеджеров, вошедших в группу успешных сотрудников. Поэтому, выделив ячейку С60, открываем «Мастер функций» и в категории «10 недавно использовавшихся» выбираем функцию «Счет» (рис. 13.15). В открывшемся окне «Аргументы функции» вводим координаты интересующей нас выборки обследованных сотрудников (в нашем конкретном случае показатели располагаются в ячейках С2: С22») и нажимаем кнопку «ОК». В результате в ячейке С60 появляется цифра «21», означающая, что в группу успешных менеджеров по продажам был включен 21 человек.

Рис. 13.15

Теперь выделяем ячейку С61. В данной ячейке будет располагаться показатель средней ошибки для результатов выполнения группой успешных менеджеров субтеста «Аналогии». Как вы уже знаете, средняя ошибка вычисляется по формуле:

где S – стандартное значение, а и – количество показателей в группе. Для того чтобы определить среднюю ошибку в Excel, нам необходимо вести эту формулу в строку формул программы Excel, заменив элементы формулы ссылкой на конкретную ячейку, содержащую соответствующий показатель. В нашем случае данная формула будет выглядеть следующим образом:

= С59/корень(С60),

где С59 – ячейка, содержащая значение стандартного отклонения обследованной выборки успешных по субтесту «Аналогии», а С60 – ячейка, содержащая число, которое соответствует количеству обследованных группы успешных менеджеров, выполнивших данный субтест. Необходимо также обратить внимание на то, что все буквы и цифры вводятся на английском языке, за исключением слова «корень». Также следует напомнить, что в Excel все формулы начинаются со знака «=». В результате выполненных действий было получено значение средней ошибки, равное 0,53.

Аналогичным образом подсчитываем все показатели для группы слабоуспешных. При этом обратите внимание на то, чтобы не ошибиться в указании диапазона значений. Если для группы успешных менеджеров диапазон показателей по субтесту «Аналогии» составлял «С2: С22», то соответственно для группы слабоуспешных в нашем конкретном случае он будет составлять «С44: С55».

Теперь можно приступить к определению t-критерия Стьюдента. Для этого нам необходимо указать ячейку, в которую будет занесено значение t-критерия

(для нас это ячейка С68), и ввести соответствующую формулу в строку формул рабочей книги Excel. Формула определения t-критерия Стьюдента была приведена выше, а для Excel в нашем конкретном случае она будет иметь следующий вид:

=(С58-С63)/КОРЕНЬ(С61 ^ 2 + С66 ^ 2),

где С58 и С63 – ячейки, содержащие средние значения выполнения субтеста «Аналогии» представителями соответствующих групп. С61 и С66 – ячейки, содержащие показатель средней ошибки для каждой из групп. Знак «/» означает «разделить», слово «корень» – «извлечь квадратный корень из…», сочетание «^2» – «возвести в квадрат».

В результате выполненных действий мы получим показатель t-критерия Стьюдента в отношении результатов выполнения субтеста «Аналогии» группами успешных и малоуспешных менеджеров. В нашем случае t-критерий равен 5. Полученный показатель указывает на наличие статистически достоверного различия по данному субтесту между успешными и малоуспешными сотрудниками предприятия.

Для того чтобы получить t-критерий для остальных показателей, достаточно скопировать ячейки, содержащие результаты расчетов (а следовательно, формулы, по которым они были рассчитаны), выделить диапазон столбцов с данными, в отношении которых необходимо провести расчеты, а затем, щелкнув правой кнопкой мыши, выбрать в меню пункт «Вставить». В результате автоматически будут подсчитаны показатели t-критерия для всех качеств, а электронная таблица будет иметь вид, как показано на рис. 13.16.

Рис. 13.16

Подсчитав с помощью Excel показатели t-критерия для каждого изучаемого психологического качества, следует провести анализ полученных результатов: необходимо определить тесты, по которым были получены и по которым не были получены статистически достоверные отличия. В свою очередь, для того чтобы правильно оценить полученные показатели t-критерия (определить, какие из них являются статистически достоверными, а какие – нет), необходимо обратиться к справочным таблицам. В нашем случае результаты проведенного анализа представлены в табл. 13.1.

Таблица 13.1