Процедура эксперимента
Было использовано по 120 карточек с изображениями каждой шкалы. Набор показаний высоты на одной шкале был тем же, что и на другой. Лендбург перемешал карточки с обычной шкалой и разделил их на две пачки по 60 штук. Одну пачку он назвал набором А, другую — набором Д. Такие же пачки со шкалой нового высотомера составили наборы В и С. Буквы указывают порядок, в котором должно было проводиться снятие показаний. Для проведения эксперимента Чарлзу понадобились два магнитофона (или один двухдорожечный магнитофон). Он решил снимать показания каждые 5 секунд. Для этого он приготовил магнитофонную ленту, на которую через каждые 5 секунд (по секундомеру) он записывал сигналы «Внимание». Во время эксперимента он подавал себе эти сигналы через наушники. Каждый раз, услышав сигнал «Внимание», он смотрел на следующую карточку. Оценки считанных показаний он записывал на второй магнитофон. На экспериментальную серию с каждым набором карточек уходило 5 минут.
Анализ результатов
Первый способ анализа данных, который пришел в голову Чарлзу, — это составить список действительных показаний шкал и рядом с каждым из них написать данную им оценку высоты. Таким образом, можно определить величину ошибки в каждом ответе и затем вычислить среднюю ошибку для той и другой шкалы. Различие оказалось не слишком большим. Средняя ошибка для старой шкалы составила 12 футов, а для новой — 8. Другой способ анализа показан на рис. 3.5. Каждой из оцениваемых высот соответствует отметка на горизонтальной оси. Здесь же показаны ошибки в ответах: положительные — при переоценке высоты и отрицательные — при ее недооценке. В представленных данных также нет значительного различия между шкалами, за одним исключением: по старой шкале высота в 5980 футов была принята за 6975 футов, т. е. ошибка составила почти 1000 футов! Если мы вернемся к рис. 3.4, то сможем понять, отчего происходит такая ошибка. При работе со старой шкалой были и другие ошибки, хотя и не такие грубые. На этом основании Чарлз решил заплатить лишние 42,8 доллара.
Краткое изложение эксперимента
Чарлзу Лендбургу нужно было решить, устанавливать ему на своем самолете новый унифицированный высотомер или нет. Для этого он придумал эксперимент и провел его на себе. Эксперимент состоял в считывании показаний высоты с фотографий шкал в установленном темпе. По величине средней ошибки различия между шкалами оказались небольшими. Однако при использовании традиционного высотомера Чарлз допускал гораздо более грубые ошибки. Иногда эти ошибки можно было объяснить, иногда — нет. Чарлз заключил, что летать с таким прибором небезопасно, и выбрал новый высотомер.
Рис. 3.5. Эксперимент с высотомерами: ошибки при считывании показаний. Ось абсцисс — показания высоты полета на шкалах (в футах). Ось ординат — величина ошибки (в футах). Треугольниками отмечены данные по стандартной шкале, кружками — по новой
Третий способ улучшения реальности: высокая надежность за счет сокращения несистематической изменчивости
Предположим, что Лендбург получил возможность испытать каждый высотомер в реальном полете и решил провести эксперимент первого типа. Что ему пришлось бы для этого сделать? Просто совершить бы несколько полетов с разными высотомерами. Однако при этом оценить качество работы с высотомером было бы довольно трудно. Ведь Чарлзу нужно было бы не только считывать показания шкал, но и контролировать истинность этих показаний, оценивая высоту своего полета визуально, наблюдая территорию, над которой он летал. Положим, ему удалось бы одновременно делать и то и другое. Пусть очень грубо, но он все-таки смог бы определять высоту полета, например по высоте гор, подлетая к ним достаточно близко, причем высоту пришлось бы изменять довольно часто (и терять на этом горючее). Могло случиться и так, что Чарлз, подобно испанскому пилоту, допустил бы очень серьезную ошибку. Даже если бы число проб в таком полете было бы столь же большим, как в искусственном эксперименте, они дали бы гораздо менее надежные результаты. Оценки высоты зависели бы от таких побочных переменных, как особенность восприятия территории (вспомним эксперимент с ночными посадками), степень сосредоточенности и, наконец, просто умение вести самолет на нужной высоте. Несистематическая изменчивость в поведении испытуемого, а следовательно, и разброс экспериментальных данных были бы очень большими. И если бы эксперименты не продолжались в течение долгого времени, то результаты одного эксперимента явно не совпали бы с результатами другого.
Напротив, искусственный эксперимент, который провел Чарлз, требовал вполне ясных ответов, которые полностью определялись считыванием показаний высотомера. Ошибки в этих ответах можно вычислить совершенно точно. Оценки работы испытуемого в одном эксперименте будут близки к тем, которые могут быть получены в другом эксперименте, проведенном при тех же условиях. Благодаря сокращению несистематической изменчивости этик оценок искусственный эксперимент достигает более высокой надежности по сравнению с экспериментом, дублирующим реальность.
Повторим, что надежность эксперимента можно повысить двумя путями. В эксперименте с поиском эта цель достигалась с помощью увеличения числа проб. В исследовании с высотомерами надежность была повышена благодаря сокращению несистематической изменчивости. Внутреннюю валидность эксперимента можно улучшить, не только повышая надежность, но и устраняя систематическое смешение: это было показано в эксперименте с ночными посадками самолета.