книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

Глава 11

ИНТЕРПРЕТАЦИЯ ИНДИВИДУАЛЬНЫХ РАЗЛИЧИЙ

Как и в случае интерпретации результатов, интер­ претация индивидуальных различий поведения при ре­ шении задачи рассматривается по отдельности для фак­ торного анализа, для эффектов, связанных с обучением, и для устных ответов с нефиксированной конечной си­ туацией.

11.1. Данные, относящиеся к факторному анализу

Прежде всего следует подчеркнуть, что в поведении курсантов последовательно обнаруживались весьма зна­ чительные индивидуальные различия. Оценка степени решения задач неизменно колебалась от 0 до 100%; число человеко-часов, необходимых для решения данно­ го типа задач, изменялось от 1 почти до 50. Индивиду­ альные различия, оцениваемые в человеко-часах, посто­ янно увеличивались в тех случаях, когда все курсанты должны были достичь определенного уровня при выпол­ нении действий, например при отыскании правильного решения задачи данного типа. Различия в отношении к задаче, как и в случае ответов с нефиксированной ко­ нечной ситуацией, также охватывают весь диапазон от нижней границы до верхней при различных масштабных системах оценки. Таким образом, интерпретацию ре­ зультатов, полученных с помощью факторного анализа, следует осуществлять с учетом значительного разброса столь резких индивидуальных различий, проявляющих­ ся в ходе всего эксперимента.

Цель приведенного ниже анализа заключается в формулировании ответов на следующие пять вопросов.

Существует ли генеральный фактор, учитывающий большую величину дисперсии поведения и отношения, или имеется множество групповых факторов, которые учитывают дисперсию в полной совокупности данных?

Для всех 12 задач не было выявлено генерального фактора, который последовательно разделил бы оба кри­ терия, соответствующих поведению и отношению. Напри­ мер ,табл. 10.1 —10.3 показывают, что не существует фак­ тора, последовательно учитывающего дисперсию, превы­ шающую 10%.

Подобное обобщение справедливо также для перво­ го нечередующегося фактора, который представляет со­

зи больших нагрузок для трех оценок обработки данных с разделением времени и пакетной обработки (ценность разделения времени, ценность пакетной обработки и сравнительная оценка разделения времени и пакетной обработки). Однако, поскольку этот фактор имеет тен­ денцию разграничивать пункты опросного листа, он не может разделить оценки поведения и оценки приобре­ тенного опыта. Поэтому было сделано заключение, что

и всех задач? Изучение результатов обнаруживает на­ личие двух таких согласующихся факторов — «Общей эффективности» и «Опыта работы на вычислительной системе». Фактор «Общая эффективность» обнаружи­ вался при факторном анализе всех 12 задач, при этом он выявлял наиболее тяжелые нагрузки при оценке ре­ шения задач курсантами. Ввиду этого он представлял особый интерес. Большие нагрузки на этот фактор были обнаружены также в связи- с.критерием, устанавливаю­ щим определенную удовлетворенность результатами ре­ шения задачи; с высокими оценками целесообразности режима работы вычислительной машины; со своеоб­ разным изменением хода решения задачи; со средним числом высших оценок;, с возможностью на ранней ста­ дии понять сущность задачи. Такое группирование кри-

поведения при решении задачи, является среднее зна­ чение оценки, так как все другие критерии имеют апо­ стериорное отношение к поведению при решении задачи. Следовательно, правильное поведение при решений за­ дачи обусловливает удовлетворенность курсанта резуль­ татами затраченных усилий и работы машины, способ­ ствует пониманию на ранней стадии сущности задачи и быстрому ее решению. Следует также отметить, что среднее значение оценки лишь относительно слабо коррелируется с поведением при решении задачи; так, для различных выборок, медиана которых составляет 0,26, корреляция учитывает только 7% дисперсии оценки об­ щего типа.

Фактор «Опыт работы с вычислительной системой» проявился в задачах 11 и 12. Все три переменные опы­ та характеризуются большой положительной нагрузкой: опыт пакетной обработки, опыт работы с разделением времени и общий опыт работы с вычислительной маши­ ной. В этих выборках, соответствующих действиям курсантов, не наблюдалось зависимости критериев при­

к критериям отношения. Очевидно, это можно объяснить тем, что почти все курсанты были новичками в этой об­ ласти и средний уровень их опыта работы с вычисли­ тельной машиной в начале вводного курса определялся менее чем месячной практикой. В соответствии с этим рассматриваемые результаты не следует распространять на работу опытных специалистов, так как они в данном эксперименте не принимали участия.

Были найдены два групповых фактора, которые наг­ лядно отражают (изменения отношения для всей выбор­ ки от начала эксперимента и до конца. Такими являлись факторы кольцевой пакетной обработки и системы об­ служивания ЭВМ. По существу в результате неблаго­ приятной системы обслуживания ЭВМ с разделением времени в течение всего семестрового курса многие ра-

зочарованные курсанты заняли довольно крайнюю по­ зицию, в большинстве случаев отдавая предпочтение пакетной обработке. «Ореол пакетной обработки» про­ явился при факторном анализе задач 3 и 4 для всех курсов как сильнейший фактор с долей дисперсии, всег­ да превышающей 10%. Напомним, что в факторном ана­ лизе для задач 1 и 2 были использованы ответы на ан­ кетный опрос, полученные до начала эксперимента, тогда как в случае задач 3 и 4 использовались ответы, полу­ ченные после окончания тестов эксперимента. Наиболее сильная нагрузка у этого фактора обнаружилась для оценок с предпочтением пакетной обработки, для цен­ ности пакетной обработки и для преимуществ пакетной обработки по сравнению с обработкой в режиме разде­ ления времени. Предпочтение пакетной обработки вы­ ражалось также в существенной нагрузке фактора при оценке составления программы отыскания и устранения неисправностей, простоты обучения, требований к поль­ зователю, синтеза, возможностей проникновения в сущ­ ность сложных задач, элементов творчества, обнаруже­ ния и исправления ошибок, самообучения, ускорения решения, самоорганизации работы, степени неквалифи­ цированности пользователя, продуктивности программ, конкретных задач, обслуживания машины и меньшего количества отказов.

Следует отметить, что в табл. 10.1—10.3 фактор «Ореол пакетной обработки», почти вдвое превышаю­ щий другие сильнейшие факторы, принимает значения в пределах 12—17% от общей дисперсии. Этот резуль­ тат иллюстрирует чувствительность факторного анализа к изменению отношения в ходе эксперимента.

Фактор «Обслуживание вычислительной машины» обнаруживает существенные нагрузки для предпочти­ тельных оценок пакетной обработки в разделе рабоче­ го журнала в соответствии с оценкой системы обслужи­ вания вычислительной машины в противоположность меньшему предпочтению при оценке работы с разделе­ нием времени. Этот фактор, очевидно, связан с факто­ ром «Ореол пакетной обработки» и подчеркивает резко отрицательное отношение к работе с разделением вре­ мени, возникающее в результате неблагоприятной систе-

мы обслуживания машины. По очевидным соображе­ ниям патентоспособности вопросы, касающиеся систем обслуживания машины, недостаточно полно представ­ лены в литературе по вычислительной технике. Описы­ ваемый эксперимент объективно выдвигает на первый план значение оценки системы обслуживания машины, что позволит понять сущность фундаментального и сте­ реотипного отношения пользователей к машинам.

Третий вопрос касался возможности выявления си­ стематических факторных различий между типами за­ дач. Имеющиеся данные не показывают какого-либо заметного различия в факторной структуре для трех курсов, за исключением, возможно, одного курса. Груп­ па, изучающая основные предметы (курс 254), получи­ ла задачи наиболее трудного типа и, очевидно, имела самое сильное желание овладеть техникой расчетов на ЭВМ по сравнению с группами гуманитарных наук (230) и общественных наук (240). Группа, изучающая основные предметы, была единственной группой, в которой при решении всех задач постоянно проявлялся фактор «Искусство пользователя», что, ве­ роятно, свидетельствует о более высокой чувствитель­ ности к умению работать с вычислительной машиной. Фактор «Общая работоспособность» при решении зада­ чи 4 в группе основных предметов проявил необычную структуру объединенных положительных нагрузок на число человеко-часов, прогонов задачи и оценок типа за­ дач. Таким образом, лучшие курсанты затратили боль­ ше всего времени и усилий. Далее в задаче 4, несмотря на отрицательный опыт работы с разделением времени, курсанты изменили обычный ход событий и проявили фактор «Энтузиазм от режима разделения времени». К тому же они посредством фактора «Непонятное вле­ чение к режиму разделения времени» обнаружили связь

этот последний фактор проявляет интересную нагрузку

у тех курсантов, которые имели более высокие средние оценки. Это свидетельствует о том, что в сущности для наиболее способных курсантов наиболее притягателен режим разделения времени. Необходимым ограниче­ нием такой предполагаемой цепи взаимосвязанных вы­ водов является тот факт, что такая структура не прояв­ лялась постоянно для группы основных предметов, и по­ добную интерпретацию возрастающей сложности работы на вычислительной машине следует рассматривать как рабочую гипотезу, а не как доказанное утверждение.

дать ответ. Выше при описании результатов и в начале данной главы было показано, что одни факторы являют­

ных задач. Из этого следует вывод о том, что имеется

шении особой. К сожалению, из полученных результатов нельзя извлечь информацию, с помощью которой можно было бы предложить эмпирическую систематизацию рассматриваемых задач, основанную на применении ме­ тода факторных соотношений. Систематизация области всех задач, решаемых на вычислительной машине, оста­ ется проблематичной.

Пятый вопрос относится к роли, которую играют оценки задачи и человеко-часы в общей факторной структуре. Как мы уже видели, оценки задачи постоянно являлись сильной группой факторов при всех видах анализа. Существенной взаимосвязи между оценкой за­ дачи и человеко-часами не было выявлено, за исключе­ нием одного упомянутого выше случая, относящегося к группе основных предметов.

268 Глава И

Однако фактор «Скорость решения задачи» имел такую связь, которая обнаруживалась по крайней мере один раз для каждого из курсов. Этот фактор характе­ ризовался наибольшей нагрузкой на человеко-часы с одновременной нагрузкой на общее число прогонов за­ дачи, затрату времени на полное решение задачи и вре­ мя проникновения в сущность задачи. Эта совокупность характеризует степень обучения в том смысле, что испытуемые, затратившие больше времени на решение задачи, позже начинают глубоко понимать ее сущность и для полного решения совершают большее число про­ гонов задачи на вычислительной машине. Однако этот фактор был обнаружен лишь в 5 из 12 задач. Более мед­ лительные исполнители не всегда были худшими испол­ нителями. В одном случае, как упоминалось выше, тем, кто затрачивал больше собственного и машинного време­ ни, удавалось получить лучшие оценки. Все же уровень работоспособности курсантов был не одинаков. Если бы от всех курсантов требовалось доводить решение задач до определенной степени, то доказательства индивиду­ альных различий в человеко-часах были бы менее сом­ нительными. Отчасти причина заключалась в индиви­ дуальных различиях субъективно воспринимаемого ком­ промисса между чрезмерными усилиями и ожидаемыми оценками. Другие условия создавались различным уров­ нем трудности и характером различных задач, обуслов­ ленным нефиксированной конечной ситуацией. Вместе взятые, эти переплетающиеся переменные, имеющие противоположные тенденции, приводят к затушевыва­ нию ясной картины динамической связи между затра­ ченным временем и усилиями, необходимыми для реше­ ния экспериментальных задач. Факторный анализ в дан­ ном случае является полезным инструментом для исследований, но не для тонкого анализа. Можно при­ менить более мощный метод с использованием более детального анализа поведения курсантов при обучении в процессе выполнения работы. Некоторые иллюстра­ тивные примеры могут быть взяты из исследования по обучению летчиков.

11.2. Некоторые систематические эффекты обучения

Напомним, что индивидуальная работа в течение за­ нятий по отдельности регистрировалась в рабочем жур­ нале. Изучение среднего времени, затраченного летчи-

Ф и г . П.) Среднее время, затраченное на решение предварительной задачи в лроцессе занятий.

ками на задачу, которое было рассчитано по всей выборке для последовательных занятий, выявило зако­ номерность, изображенную на фиг. 11.1. На ординате отложено продуктивное время, затраченное на решение определенного класса задач данного практического за­ нятия, на абсциссе — порядковый номер занятий. Ре­ зультаты всех 60 испытуемых летчиков учитывались при подсчете ординаты первой точки, которая соответствует 88 мин. С увеличением номера занятий все большее чис­ ло испытуемых завершало или прекращало работу над задачей, вследствие чего объем выборки постепенно