книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

малыше решающее правило» (24) во всех трех экспери­ ментальных группах. Этот результат может быть связан также и с ложностью фактора, поскольку обе перемен­ ные представляют по существу одну и ту же оценку в соотношении, связывающем общин и частный факто­ ры. Дело в том, что большинство студентов считало са­ мым удачным последнее решающее правило.

Шестой фактор для объединенной группы и группы разделения времени получил название «Принципиальное

периментальных группах большие факторные нагрузки соответствуют каждой из четырех отметок, выставлен­ ных преподавателями за выполнение экспериментального задания. Только в группе пакетной обработки фактор­ ная нагрузка по переменной «Лучший результат» (41) колеблется от умеренной до большой. Трудно объяснить, почему параметр «Лучший результат» важен для пакет­ ной обработки и не имеет значения для режима разде­ ления времени. Возможно, эти результаты отражают фактически довольно умеренную взаимосвязь эффектив­ ности решения задачи и отметок преподавателей, специ­ фичную для сравнительного анализа открытого и за­ крытого вариантов решения. Такая трактовка вытекает из умеренности связи между эффективностью решения задачи и соответствующими отметками, выявленной при анализе генерального фактора.

Действие фактора «Стратегия решения задачи» обна­ ружено только в группе разделения времени и объеди­ ненной группе. Его основными отличительными призна­ ками являются увеличение относительной продолжитель­

ставляющие процесса решения. Создается впечатление, что, прежде чем успешно двигаться вперед, испытуемый должен пройти необходимый предварительный этап — осмыслить задачу в целом. Непонятно, почему этот фак­ тор не проявляется в группе пакетной обработки, если не согласиться с тем, что в известной степени он являет­ ся маргинальным и его вклад в общую дисперсию весь­ ма незначителен (всего около 2% в отличие от осталь-

кых групповых факторов, вклад которых обычно состав­ ляет 3—5%).

Следующий фактор связан с отношениями пользова­ телей к методу пакетной обработки. Действие этого фак-i тора обнаруживается только в отдельных эксперимен­ тальных группах, а в объединенной группе он не прояв­ ляется. Фактор «Отношение к методу пакетной обработ­ ки» характеризуется в группе пакетной обработки очень высокой нагрузкой по переменной «Время ожидания ре­ зультатов» (33), с одной стороны, и умеренными на­ грузками по переменным «Качество второй вычислитель­ ной системы» (12) и «Оценка режима разделения вре­ мени» (18), с другой стороны. Эти данные означают, что

программы, склонны отдавать предпочтение разделению времени: чем больше приходится ждать, тем слаще начинает казаться запретный плод. В группе разделения времени фактор «Отношение к методу пакетной обра­ ботки» предстает в виде сочетания довольно положи­ тельного отношения к пакетной обработке — нагрузки по

чение быстродействия СРВ приводит к более благопри­ ятному отношению к пакетной обработке. Этот устано­ вочный фактор, если только он действительно проявляет­ ся, отражает причуды психологического феномена «проекции» — негативный опыт, связанный с ожиданием результатов при использовании режима пакетной обра­ ботки, делает более привлекательным разделение време­ ни, и в то же время благоприятная ситуация с точки зрения продолжительности ожидания результатов, воз­ никающая при использовании режима разделения вре­ мени, увеличивает притягательную силу пакетной обра­ ботки;

Последний из представленных в табл. 6.4 факторов получил название «Ловля блох». Его действие прояв­ ляется лишь в объединенной группе и в группе пакетной обработки. Этот фактор является маргинальным, и его

170 Глава 6

вклад едва достигает 2% общей дисперсии. В обеих группах он характеризуется существенными и противо­ положными нагрузками по переменным «Время редак­ тирования» (31) и «Время получения результатов» (32). Характер нагрузок в объединенной группе вырисовывает чеканный профиль: его обладатель тратит больше време­ ни, чем другие испытуемые, на получение результатов («Время получения результатов», 32), выяснение зна­ чений переменных («Время установления значений па­ раметров», 30) и меньше остальных занимается редак­

нением незначительных деталей своего задания, строго следует известным ему методам и решениям и, по-ви­ димому, преисполнен страха перед новыми альтерна­ тивами и неизбежностью выбора. Судя по всему, этот комплекс в более резкой форме проявляется при пакет­ ной обработке, поскольку испытуемые, работающие в этом режиме, вынуждены принимать профилактические меры против случайных ошибок, которые могут приве­ сти к потере целого рабочего дня, потраченного на без­ результатное исполнение программы.

Вместе взятые результаты анализа групповых факто­ ров свидетельствуют о том, что факторные портреты всех трех групп достаточно похожи друг на друга; во

главным образом с временем оборота пакета программ, случайными флуктуациями, незначительными отличиями соответствующих наборов переменных и с рядом других факторов. Поскольку исследование как генерального, так и групповых факторов привело к выделению прак­ тически аналогичных факторов, можно считать, что ре­ зультаты факторного анализа свидетельствуют о единой природе процессов формирования установок и решения

задач, определяющих поведение испытуемых в обеих экспериментальных группах. Поэтому результаты, отно­ сящиеся к объединенной группе, следует считать наи­ более надежным представлением факторов, объясняю­ щих поведение испытуемых, зарегистрированное в про­ цессе решения экспериментальных задач.

6.3. Специализированный анализ. Результаты

анкетных опросов до и после эксперимента

В табл. 6.5 приведены результаты дисперсионного анализа для шести пунктов анкеты, предлагавшейся ис­ пытуемым из обеих групп до и после выполнения экс­ перимента. Во всех случаях дисперсионный анализ сле­ довал плану типа 2X2: для каждой из шести позиций сопоставлялись две экспериментальные группы (группа разделения времени и группа пакетной обработки) и два условия (до и после эксперимента). Результаты диспер­ сионного анализа представляют два основных эффекта (различия между разделением времени и пакетной обра­ боткой и различия оценок, зарегистрированных до и по­

анализа. При желании ознакомиться с этими результа­

переменных, зарегистрированных до начала эксперимен­ та и после его завершения.

Табл. 6.5 читается следующим образом (первая стро­ ка): по переменной «Опыт работы с языком, моде­ лирования DYNAMO» значимых групповых различий не обнаружено, однако наблюдаются значимые и вполне естественные различия в оценке соответствующего опы­ та до начала и после завершения эксперимента; ника­ ких значимых эффектов взаимодействия не обнаружено.

Результаты, приведенные в табл. 6.5 для четырех пе­ ременных, характеризующих различные аспекты опыта работы испытуемых, соответствуют ожидаемым. Дейст-

кация испытуемых обеих групп значимо увеличилась. Несколько иначе обстоит дело с переменными, представ­ ляющими оценку вычислительных систем конкурирую­ щих типов, даваемую испытуемыми после окончания эксперимента. Здесь наблюдается совсем другой харак­ тер увеличения оценок, что связано с двумя основными моментами. Во-первых, окончательная оценка режима разделения времени очень близка к высшей отметке, предусмотренной шкалой (выборочное среднее, подсчи­ танное по объединенной выборке, равно 7,79 по девяти­ балльной шкале), тогда как оценка режима пакетной об­ работки приближается к нижней границе шкалы отметок (выборочное среднее, подсчитанное по объединенной выборке, равно 2,79). Во-вторых, обе экспериментальные группы по мере приобретения опыта в процессе экспе­ риментирования начинают оценивать режим разделения времени выше и только испытуемые группы пакетной обработки в результате работы заметно увеличили свою оценку пакетного режима (выборочное среднее возросло с 1,82 до 3,22). В подобном характере изменения вели­ чин оценок проявляются две основные тенденции: в ре­ зультате работы в режиме пакетной обработки появ­

такого типа заметно усиливается. Эти выводы, сделан­ ные на основании результатов дисперсионного анализа, во многом совпадают с аналогичными выводами, полу­ ченными в оригинальном исследовании при анализе из­ менений значений оценок, зарегистрированных до и по­ сле эксперимента, с помощью методов непараметриче­ ской статистики.

Глава 7

ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

7.1. Ограничения методики

Перед интерпретацией результатов должны быть яс­ но поняты методологические недостатки и ограничения рассматриваемого исследования. Они распадаются на три основные группы: экспериментальное задание, экс­ периментальные процедуры и оценки эффективности.

Экспериментальное задание имеет много полезных аспектов. Это — важная коммерческая проблема, имею­ щая четко очерченную обратную связь для пользовате­ ля, выраженную в долларах и центах; она не тривиаль­ на и требует для своего решения длительных многочасо­ вых усилий; включает разнообразные навыки, в том чис­ ле навыки, характеризующие возможности взаимодейст­ вия человека и вычислительной системы, степень совер­ шенства владения языком моделирования DYNAMO,

а также навыки, характеризующие знание коммерческо­ го дела. Подобная задача одинаково пригодна как для открытого, так и для закрытого режима решения. Среди других экспериментальных задач, опубликованных в ли­ тературе, она представляет собой единственную задачу с нефиксированной конечной ситуацией, которая обес­ печивает улучшение оценок работы по мере улучшения качества решений.

в эксперименте использовалось несколько задач. А спра­ ведливость полученных результатов для общего случая решения задач в системе человек — ЭВМ, по-видимому,

зависит от проблематичной представительности экспери­ ментальной задачи.

Экспериментальная процедура включала ряд огра­ ничений, многие из которых неизбежны. Например, пер­ воначальный размер группы 66 студентов был слишком велик, чтобы можно было осуществить тщательное на­ блюдение за испытуемыми и получить таким путем уве­ ренность в том, что правила и порядок проведения экс­ перимента выполнялись во всех случаях. В связи с этим в числе других фактов была отмечена неточность инфор­ мации; в особенности это относится к анкетным вопро­ сам. О некоторых переменных информация практически, отсутствовала. Следующее ограничение метода связано с контролем за обеспечением открытого и закрытого до­ ступа для испытуемых в ходе эксперимента. В режиме пакетной обработки студентам приходилось сталкивать­ ся с обычными для пакетного обслуживания непредска­ зуемыми очередями, периодами пиковой нагрузки, си­ стемным запаздыванием и неопределенной изменчиво­ стью времени обращения. Коль скоро эти неудобства представляли собой условия, типичные для обычной па­ кетной обработки, они являлись частью эксперимента.

В открытом режиме для пользователей предназнача­ лись четыре пульта максимально с одночасовым перио­ дом для занятий, если только не поступало никаких дополнительных требований. Такое распределение хоро­ шо работало в начале эксперимента и менее эффектив­ но— в конце, когда студенты требовали слишком много терминалов. Это условие должно выполняться для луч­ шего отражения реальных условий по сравнению с га­ рантированным доступом в любой момент времени.

Многочисленные проблемы были связаны также с по­ казателями работы. Машинное время для обоих режи­ мов строго сравнить нельзя, так как процесс редактиро­ вания и компилирования для этого частного языка и имитационной модели в режиме разделения времени управляется менее эффективно и поэтому требует боль­ шего машинного времени, чем те же виды программных операций при пакетной обработке. Анкеты, вероятно, приводили к семантическим проблемам и различиям в субъективных оценках. Например, для многих вопросов

использовалась равномерная девятибалльная шкала оце­ нок, от низшей до высшей. Следует отметить, что введе­ ние отдельных качественных характеристик для каждого балла шкалы на каждый вопрос может сделать оценки более конкретными и ясными. Возможно, это приведет к сокращению числа баллов в шкале. Студентами исполь­ зовалась вся девятибалльная шкала и статистические ре­ зультаты обычно были значимыми. Тем не менее необ­ ходимо еще проделать большую работу по стандартиза­ ции сравнимых оценок пользователей при взаимодейст­ вии человека и вычислительной системы.

Следующие затруднения связаны с формированием исчерпывающих и однозначных дескрипторов деятель­ ности пользователя. В настоящем исследовании была принята классификация на шесть категорий: время для повторного ознакомления, общее концептуальное время, параметрическое время, время редактирования, время решения и время ожидания результатов. Хотя нельзя утверждать, что эти категории однозначны, ис­ черпывающи или ясны, по-видимому, они достаточно хорошо понимались испытуемыми, и результаты измере­

Необходимо проводить также дальнейшую работу по усовершенствованию эмпирических категорий, получае­ мых и проверяемых на представительной группе пользо­ вателей с представительными задачами.

Другая проблема связана с использованием оценок, выставляемых преподавателями за студенческие отчеты. Вероятно, никого не удивит, что оценки преподавателя, относящиеся к динамике, стратегии, операбельное™ и восприимчивости, взаимно коррелируются и отражают неизбежный эффект от общего благоприятного или не­ благоприятного впечатления, производимого отчетом на преподавателя. Несмотря на это, подобные оценки, да­ ваемые независимо от хода решения задачи, в большин­ стве случаев оказались полезными при исследовании и проверке зависимостей, существующих между концеп­ туальными и другими навыками в решении задач. Необ­ ходимо продолжать работу по улучшению как систем экспертных оценок, так и эмпирических шкал.