книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

работы были выполнены фирмой «Систем девелопмент корп.» по заказу Управления перспективного планиро­ вания научно-исследовательских работ Министерства обороны США. Одна из них посвящена сопоставлению процесса отладки программ при открытой и закрытой системах доступа к вычислительной машине; объектом исследования являлась группа из 12 опытных програм­ мистов в среднем с семилетним стажем. Во второй рабо­ те группа из 9 программистов-стажеров была использо­ вана для сравнения процессов отладки программ, про­ исходящих в режиме взаимодействия человека с маши­ ной и при отсутствии непосредственной связи с ней. Ниже последовательно рассматриваются основные мо­ менты обеих работ, причем первое исследование будет фигурировать под названием «опытный программист»,

авторое — «программист-стажер».

Вобоих экспериментальных исследованиях была ис­ пользована СРВ фирмы «Систем девелопмент корп.»,

работавшая в нормальном режиме открытого доступа и в смоделированном закрытом режиме (режиме работы без взаимодействия). СРВ представляет собой систему универсального назначения (см. доклад Шварца и др. [53]), во многих отношениях сходную с системой, соз­ данной по проекту MAC в МТИ (см. отчет Шерра [51]). Шварц [53] охарактеризовал этот класс систем с раз­ делением времени, выделив четыре свойства, важных с точки зрения пользователя: «мгновенную» реакцию, независимость действий каждого пользователя, возмож­ ность практически одновременной работы нескольких пользователей и универсальность.

В системе СРВ использована вычислительная маши­ на IBM типа A:N/FSQ-32. Приведем общее описание по­ рядка использования системы. Программы пользовате­ ля хранятся на магнитной ленте или во внешнем нако­ пителе на магнитном диске. Когда пользователь присту­ пает к работе со своей программой, он обращается к одному из пультов, оборудованных телетайпами. Пуль­ ты снабжены также устройствами, обеспечивающими непосредственный ввод/вывод информации в машину Q-32. Через телетайп пользователь вводит в машину команду, предусматривающую загрузку и перевод в ра*

Рлава 3

В рассматриваемой работе в качестве плана экспери­ мента выбран латинский квадрат1 размером 2X2. Про­ цедура, предусматривающая повторение эксперимента, выглядит следующим образом. В эксперименте участво­ вали две группы испытуемых по шесть человек в каж­ дой; объектом исследования являлась отладка програм­ мы при открытом и закрытом режимах доступа к вы­ числительной машине. Составлялись и отлаживались программы для решения задач двух типов — алгебраиче­ ской и лабиринтной. Повторение экспериментов было организовано таким образом, что каждый испытуемый, являясь контрольным по отношению к самому себе, ре­ шал одну задачу в режиме открытого, а другую — в ре­ жиме закрытого доступа. Обратите внимание, что в приведенном выше плане эксперимента программы, предназначенные для решения каждой из двух предло­ женных задач, присутствуют в каждой строке и каждом, столбце один и только один раз, так что план удовлет­ воряет требованиям латинского квадрата размером 2x2 . Испытуемые включались в каждую из групп слу­ чайным образом, а порядки выбора задачи и режима работы были уравновешены.

Статистический анализ результатов эксперименталь­ ного исследования, выполненного по плану такого типа, предусматривает использование дисперсионного анали­ за для определения значимости различий между сред­ ними, соответствующими открытому и закрытому режи­ мам, а также решению алгебраической и лабиринтной задач. Для обоих оценочных критериев — количества человеко-часов, затраченных программистами на отлад­

при изучении расположения данного вида в качестве его элементов

тинский квадрат» в данном случае состоит в том, что каждая процедура дисперсионного анализа основывает­ ся на результатах 24 измерений. Подобная схема экс­ перимента обеспечивает максимальность объема выбор­ ки и высокую эффективность в статистическом смысле анализа результатов — свойство, особенно полезное при участии в исследовании небольшого числа испытуемых.

3.2.2 Методика

При организации и проведении этого эксперимен­ тального исследования возник целый ряд проблем. Мно­ гие из них характерны для экспериментов на действую­ щей вычислительной системе, другие объясняются отсут­ ствием прецедентов экспериментальной деятельности в этой области. Основные проблемы описываются ниже.

Открытый и закрытый доступ. Организация работы в режиме открытого доступа не вызывала осложнений. Программистам, отлаживавшим программы в режиме взаимодействия с вычислительной машиной, было пред­ ложено использовать СРВ, как они это делают обычно. Обеспечение закрытого режима оказалось более слож­ ной задачей. Во-первых, для этого режима требовалось обеспечить унифицированное и поддающееся регулиро­ ванию время оборота. Во-вторых, время оборота должно быть не очень продолжительным, чтобы испытуемые не отвлекались надолго от выполнения своих обычных обя­ занностей и эксперимент мог быть завершен в прием­ лемое время. С другой стороны, время оборота должно быть достаточно велико, чтобы вводимое запаздывание оказалось существенным. В качестве компромиссного решения было выбрано время оборота 2 ч — существен­ но меньшее, чем в большинстве систем с закрытым до­ ступом, но в то же время достаточное для того, чтобы большинство программистов-испытуемых высказывало недовольство продолжительностью запаздывания.

ложив программистам передавать свои задачи членам экспериментальной группы, которые должны были реализовывать соответствующую программу. Рабочее задание,

определявшие специальные процедуры и порядок их ис­ пользования, которым необходимо следовать при выпол­ нении программы. Именно таковы правила работы с вы­ числительными системами при закрытом режиме досту­ па. Строго говоря, описываемый эксперимент обеспечи­ вал сравнение открытого режима доступа с моделью закрытого режима эксплуатации вычислительной си­ стемы.

Каждый программист должен был составить собст­ венную программу, руководствуясь собственной логикой и исходя при сопоставлении возможных вариантов про­ граммы из специфики задачи. Процедуры составления программ не зависели от условий отладки. Другими сло­ вами, независимо от способа проверки программы (в от­ крытом или закрытом режиме) при ее составлении программисты не прибегали к диалогу с вычислительной системой. Для записи программ они использовали про­ цедурно-ориентированный язык, предназначенный для систем с разделением времени (JTS — JOVIAL TimeSharing) .

Экспериментальные задачи. Для программирования в эксперименте были предложены две задачи. Одна из них предусматривала написание испытуемыми програм­ мы решения алгебраических уравнений при условии ис­ пользования телетайпного ввода. Каждое из уравнений содержало одну зависимую переменную. Программа должна была обеспечивать вычисление значений зависи­ мой переменной при значениях независимых перемен­ ных, вводимых с помощью телетайпа, а также обнаружи­ вать специфические ошибки телетайпного ввода. Что ка­ сается логической процедуры решения задачи, то всем программистам было рекомендовано воспользоваться известным результатом Самюэльсона и Бауэра [49]. Составленные для решения этой задачи программы по­ лучили наименование «Алгебра».

Вторая задача заключалась в разработке програм­ мы, обеспечивающей отыскание единственного пути че­ рез лабиринт размером 20X20 ячеек. Эти программы должны были выводить на печать координаты ячеек, образующих искомый путь через лабиринт. Каждой

ячейке был поставлен в соответствие один из элементов таблицы, содержащей 400 объектов. Для всех ячеек в таблице содержалась информация о направлениях, в ко­ торых допустимо движение из данной ячейки. Програм­ мы такого типа именовались программами «Лабиринт».

Оценки эффективности деятельности. Время отладки отсчитывается с того момента, когда составленная ис­ пытуемым программа прошла процесс компиляции и компилятор не обнаружил существенных структурных погрешностей. Процесс отладки считается законченным, когда отлаживаемая программа была в состоянии вы­ полнить без ошибок стандартный набор тестовых задач. Для сравнения открытого и закрытого режимов отлад­ ки использовались два основных оценочных критерия: время, затраченное программистом на отладку програм­ мы (в человеко-часах), и время работы центрального процессора.

Количество человеко-часов, затраченных программи­ стом на отладку программы,— это реальные часы, в те­ чение которых он пытался справиться с этой задачей (включая время оборота). Количество этих часов точно фиксировалось членами экспериментальной группы, на­ блюдавшими за работой каждого испытуемого. Про­ граммисты также вели ежедневную регистрацию своих затрат времени. Причины расхождения между затрата­ ми времени, зарегистрированными экспериментаторами и сообщенными программистами, выяснялись в личной беседе с каждым испытуемым. Система TSS снабжена специальными средствами регистрации деятельности пользователя, позволяющими получить точные значения времени работы центрального процессора, приходящего­ ся на каждого пользователя. Время работы центрально­ го процессора включает время исполнения программы, часть времени, затрачиваемого на удовлетворение соб­ ственных нужд системы, и время, которое занимает пе­ резапись информации, удаляемой с программных ре­ гистров или с регистров операционной системы.

В ходе эксперимента использовался целый ряд дру­ гих оценок, позволявших получить данные, необходи­ мые для управления его проведением, а также являв­ шихся вспомогательными оценками деятельности поль-

76 Глава 3

зователя. К параметрам, характеризующим условия экс­ перимента, были отнесены опыт работы с TSS, общий опыт работы в области программирования (за исключе­ нием работы с TSS), тип использовавшегося языка программирования (язык JTS или машинный язык) и число прогонов программы, использованных каждым испытуемым при работе в закрытом режиме. В число вспомогательных оценок деятельности программиста бы­ ли включены количество человеко-часов, затраченных на каждую программу вплоть до ее первого благопо­ лучного «прохода» через компилятор (эта оценка была названа «временем составления программы»), размер программы, определяемый числом машинных команд, время правильного выполнения программой тестовых за­ даний и показатель, характеризующий выполнение «ос­

ны экспериментальные данные: переменные, характери­ зующие деятельность пользователя, условия экспери­ мента, описательная статистика, неконвертированиые экспериментальные данные и показатели, характеризую­ щие значимость различий в средних значениях оценок для групп испытуемых, использовавших разделение вре­ мени и пакетную обработку. Значения средних и сред­ неквадратичных отклонений для двух основных оценоч­ ных критериев — количества человеко-часов, затраченных на отладку программ, и времени работы центрального процессора — приводятся в табл. 3.2. Эти неконвертиро­ ваниые значения оценок свидетельствуют о существен­ ном преимуществе открытого доступа в отношении за­ трат человеко-часов на отладку программ: ско­ рость отладки увеличивается на 50—300%. Время рабо­ ты центрального процессора характеризуется противо­ положной тенденцией: в случае закрытого режима вре­ мя работы центрального процессора примерно на 30%

Вероятность р