книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

3. Индивидуальные различия перекрывают различия, вызываемые использованием вычислительных систем разных типов.

4. Большинство студентов предпочитают «мгновенную» пакетную обработку разделению времени. Однако сведения о наличии у ис­ пытуемых опыта общения с системами обоих типов ие приводят­ ся. Предпочтение, отдаваемое студентами пакетной обработке, может быть вызвано лучшим знакомством с этим режимом.

дачах, системах использования вычислительной маши­ ны в открытом и закрытом режимах, порядке проведе­ ния экспериментов, оценках деятельности пользовате­ лей, а также основные результаты.

4.2. Методологические проблемы

В настоящем разделе проводится сравнительный ана­ лиз методологий, использованных во всех шести экспе­ риментальных исследованиях, с целью выяснения тех­ нических особенностей и ограничений, характерных для каждого из них. Последовательно рассматриваются все основные элементы экспериментальной работы — испы­ туемые, задачи, характеристики вычислительной систе­ мы, порядок проведения эксперимента и оценки дея­ тельности пользователей.

Во всех шести исследованиях в общей сложности участвовали 213 испытуемых. В основном это были сту­ денты и стажеры, и лишь одна выборка представляла высококвалифицированную группу программистов [20]. В работах с малыми выборками использовались доволь­

тальной ситуации весьма существенное значение имеет фактор, который еще не рассматривался. Этим факто­ ром является опыт общения испытуемых с вычисли­ тельными машинами и возникшее у них в результате пристрастие к системам с разделением времени или к системам с пакетной обработкой. Так, например, ис­ пытуемые, участвовавшие в исследовании Эриксона [12], в основном были подготовлены для програм­ мирования, ориентированного на открытый режим ис­ пользования вычислительной системы. В то же время

Шацофф, Цзяо и Уайиг отмечают, что опыт их испытуе­ мых в основном связан с пакетной обработкой, поэтому, работая в процессе эксперимента в режиме разделения времени, они использовали процедуры, ориентированные на пакетную обработку. В остальных исследованиях при­ нимали участие испытуемые, имевшие известный опыт работы с вычислительными системами как в открытом, так и в закрытом режимах. Экспериментальный отбор испытуемых, которые были бы в равной степени знако­

В таких случаях производят специальный отбор испытуе­ мых одинаковой квалификации в сочетании с интенсив­ ным практикумом на системе при равном внимании к обоим режимам, что обеспечивает повышение квалифи­ кации испытуемых до определенного уровня. В рассмат­ риваемых здесь работах этот прием использовался лишь эпизодически.

В эксперименты были включены весьма разнообраз­ ные проблемы, связанные с программированием и реше­ нием задач: математические задачи, разного рода голо­ воломки, процедуры классификации и трансляции. Хотя многие из них типичны для процесса программирования, их едва ли можно считать репрезентативными. Так, сре­ ди них нет задач, предусматривающих обработку боль­ ших информационных массивов, и задач статистическо­ го анализа, т. е. тех типов задач, решение которых' свя­ зано с большим объемом вычислений и требует значительного объема памяти. Задачи такого типа с большей эффективностью обычно решаются в режиме пакетной обработки. С другой стороны, в число экспе­ риментальных задач не входят и такие, для решения которых требуются длинные программы, например про­ граммы, используемые в' системах, ориентированных на воспроизведение графической информации или снабжен­ ных экранными пультами. Эти задачи лучше решать в режиме разделения времени. Все задачи предполагали индивидуальное, а не групповое решение. Самым же главным, вероятно, является отсутствие эмпирических нормативов, позволяющих оценить репрезентативность различных задач, связанных с обработкой данных.

Время, необходимое испытуемым для выполнения экс­ периментальной задачи, изменяется от нескольких до 60 часов. Более длинные задачи позволяют получить не­ которое представление о значительных затратах рабо­ чей силы при проведении такого рода исследований и выявляют общую тенденцию использовать в качестве

щимися обеспечить одинаковые и несмещенные условия для объективного сравнения режимов разделения вре­ мени и пакетной обработки. В двух исследованиях (фирма «Систем девелопмент корп.»), которые были описаны в предыдущей главе, режим разделения вре­ мени осуществляется реально, а пакетную обработку приходилось моделировать на машине Q-32, ориентиро­

ную обработку, а разделение времени было представ­ лено эффективной моделью посредством обеспечения «мгновенного» времени обращения (несколько минут). В этом смоделированном открытом доступе не исполь­ зовались технические средства, позволяющие вести диа­ лог или устанавливать какое-либо другое непосредст­ венное взаимодействие с вычислительной системой. Хотя исследование Смит посвящено главным образом сопо­ ставлению режима обычной пакетной обработки и ре-' жима пакетной обработки с очень малым временем обращения, оно включено в рассмотрение в связи с тем, что содержит интересные данные, характеризующие ре­ жимы разделения времени и пакетной обработки с точ­ ки зрения темпа работы и обратной связи. Лишь в ра­ ботах Адаме и Кохена, а также Шацоффа, Цзяо и Уайи.- га были обеспечены сопоставимые открытые и закры­

В трех работах испытуемые пользовались одним и тем же языком, в равной степени применимым и удобным для использования в обоих режимах. В исследовании Эриксона входной язык TINT, предназначенный для ре­ жима взаимодействия, использовался в режиме без вся­

но для СПО и приспособленным в дальнейшем для СРВ. Шацофф, Цзяо и Уайиг вообще ничего не сообщают

пакетной обработки и, кроме того, были лишь поверх­ ностно знакомы с разделением времени, на нашу долю остаются лишь сомнения в том, что их сравнительный анализ основан на действительно сопоставимых исход­ ных позициях для обоих режимов. Те же претензии, хо­ тя бы отчасти, могут быть предъявлены и к остальным работам.

Трудности в проведении экспериментов увеличивают­ ся еще больше из-за проблем, связанных с временем оборота в режиме пакетной обработки. Время обраще­ ния изменяется от нескольких минут до нескольких ча­ сов, а иногда результат может выдаваться лишь на сле­ дующий день. Грант и Сакман зафиксировали эту пере­

добная методика предполагала неукоснительное соблю­ дение заданного времени обращения в ходе эксперимен­ та, очевидно, было бы нереалистично не предусмотреть определенную гибкость в системе обращения работ. Дру­ гие исследователи просто.оставляли своих испытуемых на произвол конкретных операционных систем, обеспечи­ вающих пакетную обработку, и не пытались измерить истинное значение времени обращения для каждого про­ хождения работы.

Помимо этого, во всех исследованиях осталось не­ выясненным, занимался испытуемый в течение времени ожидания при использовании пакетной обработки своей задачей или нет. Для некоторых работ неясно, включа­ лось ли время ожидания в подсчет затрат человеко-ча-

сов на решение испытуемыми'экспериментальной задачи. В дальнейших исследованиях следует предусмотреть си­ стематическое изменение и контроль времени оборота системы, а также тщательную регистрацию того, чем в это время занимается испытуемый. Отсутствие контроля за этими составляющими эксперимента, несомненно, увеличивает дисперсию ошибки в оценках параметров деятельности пользователя и уменьшает достоверность окончательных результатов.

Что касается процедуры проведения эксперимента, то здесь мы обнаруживаем целый ряд планов эксперимен­ та. Самый сложный из них — план типа «греко-латин­ ский квадрат»1 , использовавшийся в работе Шацоффа, Цзяо и Уайига [50]. В работах Смит [57] и Адаме и Кохена [1] проводилось сравнение средних значений оценок параметров соответствующих групп. Об оценках дисперсии или применении статистических критериев значимости в этих работах не сообщается. Чтобы можно было получить надежные результаты по выборке, со­ стоящей из четырех испытуемых, как в работе [50], экс­ периментальная процедура должна быть наиболее эф­ фективной со статистической точки зрения. Различия в средних, полученные в работе Смит по выборке, вклю­ чающей 127 испытуемых, соответственно более достовер­ ны. Как бы то ни было, можно только сожалеть об отсутствии статистических критериев и невнимании к рассеянию данных. В результате подобные приемы сни­ жают технико-экономическую эффективность экспери­ ментов, не позволяют однозначно интерпретировать ко­ личественные результаты и лишают широкие круги ис­ следователей и пользователей важной информации, относящейся к проблеме индивидуальных различий.

1 Греко-латинский квадрат — план эксперимента, в котором че­ тыре фактора располагаются таким образом, что каждый уровень любого фактора лишь один раз сопоставляется с каждым уровнем трех остальных факторов. — Прим. перев.

критериями при сопоставлении открытого и закрытого

ной, в которой для анализа деятельности испытуемого применялся факторный анализ.

Экспериментальная процедура предусматривала предварительную группировку испытуемых на основании результатов анкетного опроса. В трех эксперименталь­ ных исследованиях, выполненных по плану типа «латин­ ский квадрат», производили расслоение выборок (напри­ мер, квалифицированные программисты, особо успеваю­ щие студенты и стажеры), а предъявление испытуемым различных экспериментальных ситуаций было рандомизировано и проводилось в соответствии с планом экс­ перимента. Мотивационное регулирование по существу ограничивалось выставлением отметок студентам и рас­ пределением заданий при участии в работе квалифици­ рованных программистов. Личное соперничество, воз­ можно, побуждало большинство испытуемых проявлять большее упорство при работе с предложенными зада­ чами и не высказывать свои соображения о стратегии и тактике решения задач, по крайней мере в экспери­ ментах с малыми выборками. Подобные мотивационные ограничения менее ощутимы в работе Смит, отличаю­ щейся выборкой большого объема.

Процедуры регистрации обычно включают машинную регистрацию машинного времени, регистрацию испытуе­ мыми числа человеко-часов, затраченных на выполне­ ние экспериментальных задач, анкеты, предназначенные для отбора и сопоставления испытуемых, а также для сбора наблюдений и оценок, связанных с установлени­ ем преимуществ вычислительной системы определенного типа и с самооценкой испытуемых. Во всех трех иссле­ дованиях квалификация программистов проверялась с помощью анкетных тестов. Щацофф, Цзяо и Уайиг при­ влекали к работе студентов, получивших отметку А за выполнение «теста оценки способностей в области обра­ ботки данных», практикуемого фирмой IBM (IBM. data processing aptitude test). В двух экспериментальных ра­ ботах, выполненных фирмой «Систем девелопмент

корп.», к испытуемым применялся «основной тест квали­ фикации программиста» (ВРКТ). Машинная регистра­ ция, очевидно, более объективна, чем другие процедуры, в то время как регистрация, осуществляемая самими ис­ пытуемыми, подвержена намеренным и непреднамерен­ ным искажениям. В четырех работах с малыми выбор­ ками было проще'наблюдать за деятельностью испытуе­ мых, контролировать результаты их саморегистрации и тактично устранять возникающие несоответствия. В ис­ следованиях с большими выборками контроль экспери­ ментаторами деятельности отдельных испытуемых был менее непосредственным. Как правило, ошибки или сме­ щения, которые могут появиться в результате самореги­ страции испытуемых, подробно не обсуждаются.

Последняя методологическая проблема связана с оценками, используемыми в эксперименте. Во всех рабо­ тах используются две основные оценки эффективности деятельности испытуемых — число человеко-часов и ма­ шинное время, затрачиваемое на выполнение экспери­ ментального задания. Оценка машинного времени пред­ ставляет собой наиболее явный критерий. Оценка числа человеко-часов существует в разных модификациях, и ее составляющие квалифицируются не всегда одинаково. Например, в двух работах, выполненных фирмой «Си­ стем девелопмент корп.», и в исследовании Адаме и Кохена время составления программы рассматривается отдельно от времени ее отладки. В остальных работах используется общая оценка затрат времени (в человекочасах) на выполнение экспериментального задания, ко­ торая различными способами разделяется на составляю­ щие. Сравнение получаемых оценок затрудняется тем, что в разных условиях они определяются по-разному.

В трех исследованиях, предусматривающих использо­ вание планов эксперимента типа «латинский квадрат», некоторое внимание уделялось анализу индивидуальных различий в деятельности пользователей. Хотя изучение индивидуальных различий и не ставилось вначале основ­ ной целью исследований, применение дисперсионного анализа к экспериментальным данным, полученным в каждой работе, позволило выявить многие различия, оп­ ределяемые человеческой природой объекта исследования,

ности пользователя использовались окончательный раз­ мер программы и время ее прохождения. Удивительно, что эти объективные, легко регистрируемые и естествен­ ные оценки эффективности программирования отсутст­ вуют в двух других исследованиях. Было бы очень по­

ные в работе Шацоффа и др. [50], включают сравни­ тельные оценки стоимости открытой и закрытой систем, в которых учитываются как человеческий, так и машин­ ный факторы. Эти оценки расходов были получены на основе экспериментального измерения затрат времени пользователей и машинного времени, которые затем бы­ ли использованы в качестве эмпирических параметров при построении простейших стоимостных моделей.

В двух исследованиях фирмы «Систем девелопмент корп.» была предпринята попытка выяснить взаимосвязь между результатами анкетных тестов и эффективностью выполнения экспериментальных заданий, для чего при

скольку объемы выборок были малыми, а корреляцион­ ные связи между успешным выполнением анкетных тес­ тов и практическим решением задач обычно оказывают­ ся умеренными или слабыми, к таким тестам в лучшем случае можно относиться как к очень предварительной рекогносцировке.

Итак, каковы же основные методологические харак­ теристики, достоинства и упущения этих шести экспери­ ментальных исследований с точки зрения выбора испы­ туемых, задач, оснащения вычислительной системы, экс­ периментальной процедуры и оценок эффективности деятельности испытуемых? Испытуемыми в основном были студенты и программисты-стажеры, и только в од­ ном исследовании участвовал персонал, достаточно ква­ лифицированный в области обработки данных. В экс­ периментах использовался обширный набор заданий,

включающий много типов задач и процедур обработки данных, успешное выполнение которых требовало мно-; гочасовой работы, однако задания определенного типа, одинаково характерные как для режима пакетной обра­ ботки, так и для режима разделения времени, отсутст­ вовали. Трудно оценить, насколько в принципе показа­ тельны эти задачи для процесса обработки данных и хорошо ли они приспособлены для объективного срав­ нения открытого и закрытого режимов использования вычислительных систем. Одна из самых неприятных проблем возникает из-за необходимости обеспечивать сопоставимость систем с разделением времени и с па­ кетной обработкой; много проблем создает подбор под­ ходящей вычислительной машины и эквивалентных языков. И наконец, такая переменная, как время обра­ щения, имеющее для режима пакетной обработки решаю­ щее значение, обычно не подвергалась систематическому контролю.

Экспериментальные процедуры характеризуются са­ мыми различными уровнями сложности, причем их кри­ тические проблемы по большей части связаны с наблю­ дением и регистрацией деятельности пользователей. Раз­ нообразие оценок эффективности деятельности, исполь­ зованных уже на этом раннем этапе исследований, не может не произвести впечатления, так как охватывает

деятельности испытуемого и работы программ, регист­

самых разнообразных задач пользователей более мощ­ ные экспериментальные методики, ориентированные на непосредственную регистрацию в темпе изучаемого про­ цесса, например регенеративный метод регистрации деятельности пользователей. Этот метод обеспечивает полную фиксацию в реальном времени всего процесса взаимодействия пользователя с вычислительной маши­ ной и тем самым дает возможность «проигрывать» этот процесс заново в процессе анализа (см. работу [44]).

4.3. Проблемы, связанные с интерпретацией результатов

Что же среди результатов четырех предварительных исследований представляет собой достоверную законо­ мерность, какие факты не поддаются однозначной интер­ претации и в чем состоят пробелы и недостатки? Были рассмотрены шесть типов оценок эффективности дея­ тельности, содержащихся в экспериментальных данных: время, затрачиваемое испытуемым, машинное время, за­ траты на вычислительную систему, система предпочте­ ния пользователя, индивидуальные различия и специ­ альные оценки.

Результаты четырех из шести исследований свиде­ тельствуют о том, что разделение времени (или его мо­ дельный эквивалент) позволяет пользователю затрачи­ вать на разработку программ и решение задач меньше времени, чем в режиме пакетной обработки (или его модельном эквиваленте). В работах Шацоффа, Цзяо и Уайига [50], а также Адаме и Кохена [1] обнаружи­ вается противоположная тенденция. В первой из них об­ щее время выполнения экспериментального задания ока­ зывается более коротким при использовании режима раз­ деления времени. С другой стороны, в работе Эриксона [13] было установлено наибольшее относительное преимущество режима разделения времени в отношении эффективности деятельности (почти 2 : 1 по затрате чело­ веко-часов для программистов-стажеров). В этом иссле­ довании предусматривалось использование в обоих ре­ жимах языка, снабженного развитой системой интерпре­ тации и ориентированного на режим взаимодействия пользователя с вычислительной системой, что обеспечи­ вало определенное преимущество режиму разделения времени. Учитывая оба экстремальных результата, можт но считать, что при использовании разделения времени

программ и решение задач. Степень этого повышения эф­