2. Метод ранжирования (the ranking method)

Другое название этого метода — метод качественного упорядочивания (ihe order of merit). Пользуясь этим методом, испытуемый располагает стимулы в порядковый ряд по какому-либо признаку. Эта задача возникает перед нами главным образом тогда, когда встречаются разнородные стимулы, которые не имеют явных физических размерностей, но которые необходимо упорядочить и поставить в отношение по определенному признаку.

При применении этого метода одни и те же стимулы ранжируются (упорядочиваются) несколькими испытуемыми не один раз и вычисляется средний ранг для каждого стимула. Это удобный метод, если только количество стимулов не слишком большое. Обычно все множество образцов стимулов, подлежащее ранжированию, предъявляется одновременно и испытуемому разрешается менять порядок отдельных стимулов, прежде чем он произведет окончательное их ранжирование.

Одним из первых применений этого метода является его использование в исследовании М. Кеттела (М. Cattell, 1903) для выявления ведущих ученых в естественных науках по оценке их коллег. Так, он предложил 10 психологам проранжировать 200 американцев, которые претендовали на звание психолога. Десять судей работали самостоятельно, независимо друг от друга. Затем М. Кеттел подсчитал среднее всех 10 рангов, определенных для каждого психолога. Список рангов без расшифровки имен был опубликован в 1903, а сам список имен — в 1933 г. Некоторые из него стали скорее философами, чем психологами.

Этот эксперимент продемонстрировал, что экспертные оценки дают только то, что они открыто могут дать, а именно результирующее мнение 10 компетентных судей. Они показывают репутацию человека у экспертов, но совсем не обязательно его способности или вклад (в науку). Не исключены постоянные ошибки, происходящие по различным неконтролируемым причинам, которые необходимо учитывать при интерпретации результатов.

На основании данных ранжирования нельзя создать шкалу превосходства, имеющую в основании абсолютный нуль. Что можно получить от средних рангов? Предлагая достаточному числу компетентных судей ранжировать некоторые образцы, получаем почти равные средние ранги там, где образцы близки между собой, и сильно отличающиеся, когда образцы заметно не равны; средние ранги будут правильно соответствовать образцам и в порядке, и в пространстве. Точный порядок, как утверждает М. Кеттел, очень неопределенен в том случае, когда средние ранги примерно равны.

Для полного использования этого метода должно быть определенное число образцов, все они должны классифицироваться каждым испытуемым. Тогда можно найти количество согласий и несогласий среди судей. Р. Вудвортс и X. Шлосберг показывают, как один и тот же вид шкалы можно получить из ранжирования и парных сравнений стимулов. Ранжирование можно свести к частотам выбора (С) и затем к величинам P и Z, потому что метод ранжирования близок к методу парных сравнений; по существу, он является сокращенной формой метода парных сравнений, так как в основе того и другого метода лежит операция сравнения объектов по определенному признаку.

Если испытуемый оценивает определенный образец номером 1, то есть помещает его выше других из 10 предъявленных образцов, он, очевидно, предпочитает этот образец девяти другим. Если он оценивает этот образец номером 2, то он предпочитает его восьми другим и т. д. Каждый ранг (Р) может превратиться в частоту выбора (С). И тогда с n-образцами С = п - Р.

Метод ранжирования нередко вызывает критику, так как считается, что ранги являются просто показателями порядка и не должны использоваться для количественных описаний. Конечно, шкалирование путем ранжирования ограничено оценкой образцов и не имеет абсолютного нуля, без которого шкалу трудно называть количественной. Нельзя сказать, что один образец в два раза лучше другого, как нельзя сказать, что 80° вдвое жарче 40°. Но можно утверждать, что средние ранги — это нечто большее чем порядковые номера. Когда один испытуемый ранжирует образцы, он ничего не говорит об их пространстве. Некоторые могут их ставить близко друг к другу, другие их расставляют далеко друг от друга, но все сводится к тому, что один из образцов обладает более выраженным качеством, чем ранжированные ниже его. Однако средние ранги не являются результатом работы одного испытуемого. Они являются результатом работы группы испытуемых (или иногда результатом повторных независимых суждений одного и того же субъекта). Хотя один судья ограничивается порядковым номером, группа судей имеет в распоряжении целую шкалу. Она использует дробную шкалу средних рангов иногда с большим числом делений, иногда с меньшим, и ее средние ранги хорошо совпадают с действительными параметрами образцов (пространством образцов), когда эти параметры точно известны, как в случае весов.

Средние ранги, как уже показывалось, могут быть преобразованы в частоты, и с ними обращаются как с частотами в методах парных сравнений и постоянных стимулов. Даже в методе постоянных стимулов исходным результатом отдельной пробы является порядковая оценка - переменный стимул оценивается как больший или меньший по сравнению со стандартом, но насколько больше или меньше — не сообщается. Много информации не извлечешь из одной оценки, но если переменный стимул сравнивается со стандартом 20 раз, то частота оценок может сообщить больше, чем просто о порядке. Если один переменный стимул оценивается как больший, чем стандарт, в 60% случаев, а другой — в 90%, то последний лежит на психологическом континууме гораздо выше, чем стандарт. Эта целая группа методов основывается на психологическом принципе, который не охватывается логикой номера или порядка.

В процессе шкалирования всегда стоит вопрос: в какой мере субъективная оценка объектов или степени их отличия друг от друга отражает объективные (физические) характеристики этих объектов и различий между ними в тех или иных качествах? Это можно проверить лишь на таких объектах, которые можно измерить не только субъективно (психологически), но и объективно — физическими мерами. Таким удобным объектом сопоставления является субъективная шкала для линий по длине, построенная на основе экспериментальных результатов, и их физическая шкала.

Поэтому в своем исследовании мы сопоставляли психологические шкалы, созданные с помощью пяти различных методов (методом крайних градаций, являющимся видоизмененным методом средних градаций, методом ранжирования, методом прямой балльной оценки, методом парных интервалов, методом измерения времени реакции), с физическим измерением одномерного континуума — линий по длине 5—100 мм (Т.А. Ратанова, 1968; 1972). Результаты, полученные методом парных интервалов и методом измерения времени реакции, не излагаем. Представляем результаты, полученные методом ранжирования.

Методом ранжирования в наших экспериментах шкалировались линии от 10 до 100 мм по частям. Всего было 9 частей. Части ранжирования: линии 10-20 мм, 21-30, 31-40, 41-50, 51-60, 61-70, 71—80, 81—90, 91—100 мм. В каждой части испытуемым для ранжирования предъявлялись 10 горизонтальных линий, за исключением первой части, где было 11 линий (линии были начерчены на карточках из белой ватманской бумаги). Для шкалирования линий в каждой части привлекались 11 испытуемых.

Этот метод шкалирования заключался в том, что испытуемый должен был расположить данные ему линии в порядке увеличения длины линий от меньшей к большей. Испытуемым давалась следующая инструкция: «Вам даются 10 (11) карточек с горизонтальными линиями. Линии незначительно отличаются друг от друга. Разложите их в порядке увеличения длины линий от меньшей к большей. Сравнивать линии можно, только положив их рядом — слева направо, но не кладя их друг над другом, выше— ниже».

Были высчитаны средние арифметические ранжирования каждой линии во всех частях и соответствующие им сигмы. Результаты показали близость субъективных оценок длины отрезков линий их объективным величинам. Отклонения (преувеличение или преуменьшение) были в пределах 0,1—1,6 мм. В 5 случаях из 91 имела место недооценка линий большей величины и переоценка линий меньшей величины; это линии величиной 66 и 67,77 и 78,79 и 80,86 и 87,88 и 89 мм. В одном случае не различались линии величиной 94 и 95 мм. Наиболее точное соответствие субъективных оценок объективным величинам линий наблюдалось, как правило, в самом начале, в середине и конце ранжируемого ряда; в промежутках между ними имело место меньшее соответствие.

Сигмы возрастали постепенно от меньших по величине ранжируемых линий к большим (от 0 до 2,7 31), при ранжировании больших линий отмечались относительно небольшие сигмы (0,632; 0;944 и т. п.). Результаты экспериментов позволяют сказать, что субъективная шкала для линий от 10 до 100 мм, полученная методом ранжирования, близка к их физической шкале. Обнаружена зависимость между объективной величиной линий и величиной дисперсии.

Анализ процесса ранжирования линий показал, что, в сущности, этот метод основан на методе парного сравнения, но не полного, а сокращенного. Испытуемый располагает каждую следующую линию за предыдущей, сравнив ее не абсолютно со всеми возможными линиями, а только с близкими, то есть с теми, которые отличаются от раскладываемой в данный момент линии на небольшую величину. Но это сравнение происходит всегда попарно.

Методом крайних градаций шкалировались линии от 5 до 100 мм и углы величиной от 5 до 90°. Испытуемым предъявлялись две горизонтальные линии (на карточках из белой бумаги) постоянной длины, например 5 и 10 мм. Одновременно предъявлялась третья линия, длина которой при каждом последующем показе увеличивалась на 1 мм при предъявлении линий от 11 до 20 мм или уменьшалась на 1 мм, когда показывались линии от 20 до 11 мм. Испытуемый должен был сравнивать различия между первой и второй линиями с различием между третьей и второй и говорить про второе различие, каким оно кажется: «меньше», «перестает казаться меньше», «начинает казаться больше», «больше» (при движении от меньшей третьей линии к большей) или «больше», «перестает казаться больше», «начинает казаться меньше», «меньше» (при движении от большей третьей линии к меньшей). Эта процедура повторялась дважды.

На основании 8 ответов каждого испытуемого высчитывалась средняя величина третьей линии, которая субъективно отличалась от второй настолько же, насколько вторая линия отличалась от первой. Были проведены 18 подсерий. Если в первой подсерии длина первой и второй линий была 5 и 10 мм, то в каждой последующей подсерии она увеличивалась на 5 мм. В каждой подсерии участвовали 16 испытуемых.

Аналогичным образом шкалировались угловые величины от 5 до 90°. С угловыми величинами были проведены 16 подсерий, в каждой подсерии участвовали 16 испытуемых.

Общим итогом описанных экспериментов явился тот факт, что субъективное равенство двух различий имеет место тогда, когда эти различия объективно равны друг другу. Но все-таки имеется некоторое очень небольшое расхождение между этими величинами. При сравнении линий обычно вторая величина была несколько меньше первой (в пределах до 0,7 мм). При сравнении углов обычно вторая величина несколько больше первой (в пределах до 0,3°). Испытуемыми отмечалась бблыыая трудность определения различий между величинами линий, чем углов. Средние квадратические ошибки, соответствующие субъективной величине третьего раздражителя, колебались в пределах 0,113—0,220. Иными словами, полученная указанным методом субъективная шкала длины линий и шкала углов по величине соответствуют объективным (физическим) шкалам их. Отклонения от соответствия субъективных оценок длины отрезков линий их объективным величинам по методу, крайних градаций были в пределах 0,1—0,7, то есть точность шкалирования методом крайних градаций была большая, чем методом ранжирования.