книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

Ч А С Т Ь III

ИССЛЕДОВАНИЕ, ПРОВЕДЕННОЕ В УЧИЛИЩЕ ВВС США

Глава 8

МЕТОДИКА ЭКСПЕРИМЕНТА

8.1.Введение

ВУчилище ВВС — совместно с фирмой «Систем де­ велопмент корп.» был предпринят многоплановый экспе­ римент с целью сравнения режима обработки информа­ ции с разделением времени и режима пакетной обработ­ ки в процессе преподавания студентам вводного курса вычислительной техники. Постановка эксперимента оп­ ределялась двумя основными задачами, во-первых, ре­

зультаты будут способствовать укреплению позиции ВВС в разработке требований к конструкциям новых вычислительных устройств и улучшению системы пре­ подавания курсов вычислительной техники в Училище ВВС; во-вторых, эксперимент ставился с расчетом вне­ сти существенный вклад в решение задач системой чело­ век— вычислительная машина.

8.1.1.Испытуемые

Исследования были проведены с участием всех кур­ сантов Училища ВВС, слушающих вводный курс вычис­ лительной техники. Программа обучения в этом училище требует от каждого курсанта прохождения вводного кур­ са вычислительной техники. Задача, состоящая в дости­ жении всеобщей среди студенчества «вычислительной грамотности», приобретает все большее признание в дру­ гих ведущих высших учебных заведениях. Студентам, специализирующимся в гуманитарных, общественных и технических науках, читается три вводных курса (Вы-

Было решено, что для получения максимального объема выборки в эксперименте должны участвовать все кур­ санты, слушающие эти три курса (69, 179 и 167 чело­ век соответственно). Таким образом, общий объем вы­ борки составлял 415 человек, разбитых на 29 отделе­

Студентам предлагались те же задания, которые обычно планировались для курса. Каждое задание по существу сводится к требованию составить синтаксиче­ ски и логически правильную программу в соответствии с бланком задания. В эксперименте использовались пер­ вые четыре задания каждого из трех вводных курсов. Пример задания в той форме, в какой оно предлагалось студентам, описан в разд. 8.2.1. Названия заданий при­ ведены в табл. 8.1. В отдельных случаях дополнительные (и по существу эквивалентные) формы заданий обозна­ чены в табл. 8.1, как варианты А и В.

Таблица 8.1

Экспериментальные задания к трем вводным курсам по вычислительной технике

ники. Хотя некоторые курсанты считали их легкими, большинством они выполнялись частично или не выпол­ нялись совсем. Например, на одно задание затрачива­ лось, как правило, 1—2 недели; для получения пра­ вильного решения требовалось порядка 5—10 чел-ч и 10 прогонов программы на машине. Всего предлагалось 12 экспериментальных заданий, по 4 на каждый из трех вводных курсов.

8.1.3. Вычислительные устройства

В основном эксперименте все тестовые задания вы­ полнялись на вычислительной машине «Барроуз В 5500» с использованием расширенного фирмой «Барроуз» язы­ ка АЛГОЛ. По мощности «Барроуз В 5500» — средняя или мощная вычислительная машина, установленная в Училище ВВС для проведения по существу одинаковых работ в режимах разделения времени и пакетной обра­ ботки. АЛГОЛ (алгебраически ориентированный язык) — широко распространенный язык высокого уровня, пред­

в конце книги, ссылки на лекции по вычислительной тех­ нике, которые читались).

Между режимами разделения времени и пакетной обработки имело место различие, которое и следует от­ метить вначале. Система пакетной обработки уже давно использовалась на В 5500, тогда как система с разделе­ нием времени впервые была введена перед самым на­ чалом эксперимента. Таким образом, режим пакетной обработки имел перед разделением времени эксплуата­ ционные преимущества, что необходимо принимать во внимание при интерпретации результатов исследования.

От всех студентов требовалось представить програм­ мы по заданиям на машинных бланках, чтобы их можно было отперфорировать и пропустить в режиме пакетной

обработки. Следовательно, в отношении исходного ко­ дирования и представления программ для студентов, работавших в режиме разделения времени и в режиме пакетной обработки, не было методических различий. Программы, предназначенные для работы с разделением времени, переписывались на диск, а программы для па­ кетной обработки включались в набор задач для ре­ шения.

Сторонники принципа разделения времени могут воз­ разить против закрытого доступа на первом этапе ра­ боты на том основании, что при этом не используются потенциальные преимущества исходного кодирования в условиях открытого доступа. Хотя для такой критики есть некоторые предпосылки, описанная методика была принята по двум основным причинам: чтобы уменьшить явно жесткие требования, предъявляемые к терминалам системы разделения времени, и чтобы предоставить в хо­ де эксперимента возможность всем студентам в обоих режимах начать работу на машине с четко определенно­ го исходного уровня.

При пакетной обработке студенты, как правило, по­ лучали результаты либо в тот же, либо на следующий день в зависимости от того, когда пропускались их за­ дачи— в начале или в конце рабочего дня. Цикл пакет­ ной обработки занимал обычно несколько часов.

Чтобы все студенты, работающие в режиме разделе­ ния времени, имели одинаковую возможность доступа к вычислительной машине, время общения с терминала­ ми строго регламентировалось. Студентам предоставля­ лись по расписанию 17 телетайпных пультов модели 33. Сообщать о времени работы за пультом студенты долж­ ны были заранее. Им разрешалось работать не больше трех раз в день,по 15 мин, причем они должны были отчитываться за неиспользованное время. С целью реали­ зации преимуществ взаимодействия в режиме разделе­ ния времени желательно было бы увеличить время ра­ боты за пультом, но нагрузка, создаваемая студентами, существенно превышала реальную мощность термина­ лов. В том случае, если какие-либо пульты были свобод­ ны и не учтены в расписании, студенты могли воспользо­ ваться ими в первую очередь.

8.1.4. Методика эксперимента

Философскую основу методики эксперимента состав­ ляют экспериментирование в реальном мире и самоэкспериментированне. Первый подход осуществляется пу­ тем использования в каждом курсе актуальных задач, решаемых студентами при нормальной их постановке обычным путем. Второй подход вытекает из самоуправ­ ления тестами,и процедурами со стороны преподавате­ лей и студентов в процессе получения и сбора данных, а также из их систематического вклада в анализ и оцен­ ку результатов в каждом отделении. Таким образом, каждый участник одновременно является и объектом ис­ следования, п экспериментатором.

Такой философский подход должен был придать большее правдоподобие всему эксперименту и, как сле­ довало ожидать, обеспечить полезный выход экспери­ мента, чего нельзя было бы достичь при работе одного или даже группы экспериментаторов. Кроме того, стои­ мость подобного экспериментирования значительно ни­ же, чем при подходах, использующих традиционные ме­ тоды сжатого лабораторного контроля и минимального вовлечения испытуемого в постановку и анализ экспе­ римента. Хотя такое краткое обсуждение едва ли можно считать всесторонним анализом столь сложной и проти­ воречивой проблемы, тем не менее предполагалось, что эффективность затрат на получение конечного полезно­ го выхода эксперимента значительно возрастет при ис-

.пользовании предложенного подхода.

С целью лучшего экспериментального контроля и бо­ лее удобного управления эксперимент планировался для отдельного класса, или отделения. Основная идея заклю­ чалась в разделении каждого участвующего в экспери­ менте класса на две равные по силам подгруппы и уста­ новлении сбалансированного порядка их работы в ре­ жимах разделения времени и пакетной обработки.

Критерием для формирования равных по силам под­ групп был средний уровень подготовки студентов, взя­

процедура обеспечивала лучший контроль за индивиду­ альными различиями, более однородную межгрупповую дисперсию и меньшие отклонения межгрупповых распре­ делений от нормальных. Таковы особенности, позволяю­ щие проводить более строгий анализ расхождений меж­ ду получаемыми результатами.

Как было указано, две подгруппы каждого класса выполняли соответствующие задания в указанной по­ следовательности:

Согласно такой схеме, в течение семестра состав каждой из двух групп не должен был меняться, причем задания нужно было выполнять в предписанном режиме. Подобранные под пару последовательности были сба­ лансированы, чтобы обеспечивалась возможность приме­ нения некоторых видов статистического анализа и на­ блюдения за результатами обучения, связанными с ус­ ловиями работы на вычислительной машине.

Для исследования суммарного эффекта, который да­ ет разделение времени по сравнению с пакетной обра­ боткой, некоторым отделениям было предложено выпол­ нять все экспериментальные задания только в первом или во втором режиме. Контроль за экспериментом осу­ ществлялся путем подбора пар отделений одного и того же преподавателя, работающих в разных режимах. Эти отделения не подчинялись описанной выше сбалансиро­ ванной схеме, так как режим работы на машине был по­ стоянным. Что касается выдачи заданий и сбора дан­ ных, то каждое отделение работало независимо от ос­ тальных. В этом смысле методика эксперимента на уров­ не отдельного класса носила модульный характер.

Для удобства изложения схему эксперимента для классов, работавших в приведенной выше сбалансиро­ ванной последовательности, назовем «качелями», а для классов, выполнявших все задания в одном и том же режиме, — «постоянной». Испытуемых первого и второго типа оказалось в эксперименте 60 и 40% соответственно. Такое соотношение было взято из соображений управле­ ния экспериментом при стремлении добиться адекват­ ных объемов выборки для обоих режимов проведения экспериментального исследования.

8.1.5. Статистический расчет

Сравнение режимов разделения времени и пакетной обработки. Экспериментальная схема сравнения режи­ мов разделения времени и пакетной обработки сводится, по существу, к применению различных видов анализа дисперсии для выявления различий между режимами по таким основным показателям деятельности, как челове­ ко-часы, оценки за задачи и машинное время. Схема «качелей» представляется одним латинским квааратом для двух первых заданий и другим — для двух после­ дующих. Она имеет структуру 2x2x2, что соответствует двум группам, двум условиям доступа при обработке информации (открытому и закрытому) и двум заданиям. Основное достоинство этой схемы состоит в том, что различия между условиями открытого и закрытого до­ ступа могут быть проанализированы непосредственно для каждого студента под его собственным контролем. Основным недостатком является то, что из-за влияния характера работы на машине и различия в заданиях не могут быть исследованы эффекты взаимодействия.

Для многопараметричесшх исследований, как и для отдельных показателей, применим анализ дисперсии, ре­ грессионный анализ и факторный анализ объединенной выборки или основных групп испытуемых. Мнение сту­ дентов о двух системах обработки информации до и по­ сле эксперимента служит удобным средством оценки из­ менения их отношения к режимам работы и мотивационных факторов. Модульный характер эксперимента на уровне отдельного класса и задания обеспечивает до-

полнительную защиту от пропуска данных, появления ошибок, нарушения схемы эксперимента или каких-либо других неверных истолкований исследования со стороны преподавателей и студентов.

Эти методики служат указанием на некоторые стати­ стические процедуры, которые могут быть использованы. За первоначальными исследовательскими тестами сле­ дуют дополнительный анализ первичных результатов,

Анкеты для студентов и формы представления дан­ ных, приведенные в приложении, кратко сводятся к сле­ дующему:

Ф о р м ы п р е д с т а в л е н и я д а н н ы х с т у д е н т а м и

Анкета до и после эксперимента. Содержит данные контроля и показатели отношения студентов к режимам разделения времени и пакетной обработки; выдается до и после выполнения экспериментальных заданий для проверки изменения отношения; имеет форму-целевых вопросов.

Рабочий оюурнал задания. Содержит основные пока­ затели работы студентов, вычислительной системы и их взаимодействия; заполняется студентом во время рабо­ ты над заданием.

Анкета задания. Содержит различные специальные вопросы, относящиеся к данному заданию, с целевыми и свободными пунктами; целевые пункты предназначены для определения показателей отношения к режиму ра­ боты и временных характеристик; свободные пункты яв­ ляются исследовательскими и направлены на изучение качественных сторон индивидуального подхода к реше­ нию задачи; заполняется после выполнения задания.

206 Глава 8

Ф о р м а п р е д с т а в л е н и я д а н н ы х п р е п о д а в а ­

каждого студента и другие оценки эффективности дея­ тельности для обеих подгрупп отделения по каждому за­ данию; показатели, полученные из выходных печатных документов студентов; представляет собой контрольные данные эксперимента.

В перечень оценок эффективности деятельности вхо­ дят человеко-часы, проработанное время, оценки студен­ тов по заданиям, время, отведенное на выполнение за­ дания, и число прогонов программы на машине, необхо­ димое для выполнения каждого задания. К исследуемым факторам относятся средний уровень, опыт работы на вычислительной машине, отношение к режимам разделе­ ния времени и пакетной обработки до и после экспери­ мента, оценка эксплуатации вычислительной системы, а также временные характеристики последовательных этапов решения задачи. Чтобы выявить новые направле­ ния и составить картину того, как студенты своими сло­ вами интерпретируют собственные подходы к решению задач, необходимо учитывать также ответы в свободном словесном выражении.

8.2. Предварительное исследование

Составной частью плана эксперимента были подго­ товка и проведение предварительного исследования на сравнительно малой управляемой выборке. При этом преследовалось несколько целей: во-первых, улучшение качества эксперимента путем повторения в меньшем масштабе основного цикла исследования на отдельном тестовом задании; во-вторых, освоение методики экспе­ римента ,и анализ экспериментальных данных для устра­

ка людских и технических затрат, чтобы убедиться, что студенты и преподаватели не испытывают чрезмерных неудобств 'и несогласованности с личными планами ра­ бот и требованиями, принятыми в Училище ВВС; в-чет-

вертых, приобретенный опыт должен был помочь устано­ вить исходные эмпирические оценки работы студентов. (Однако следует подчеркнуть, что в этом исследовании не ставилось целью получение окончательных оценок сравнительных характеристик режимов разделения вре­ мени и пакетной обработки, так как вычислительные машины, языки программирования и опыт работы сту­ дентов в этих режимах не поддаются сравнению). И на­ конец, представляла интерес реакция студента и пре­ подавателя на методику эксперимента, что давало воз­ можность оценить их мотивации и вовлеченность в ис­ следование и, кроме того, получить сведения об адек­ ватности контроля за экспериментом.

8.2.1. Методика

В исследовании принимали участие 4 отделения, включающие 60 курсантов, которым два преподавателя читали вводный курс вычислительной техники, рассчи­ танный на специалистов по общественным наукам. Каж­ дый из преподавателей вел два отделения, пользуясь схемой эксперимента типа «качели». Оба отделения подразделялись на две равные по силам подгруппы, ра­ ботавшие в режимах разделения времени и пакетной обработки. Такая схема позволяла исследовать разли­ чия, имевшиеся как между преподавателями и отделе­ ниями, так и между режимами работы.

В предварительное задание входило моделирование очереди в парикмахерскую при определенных условиях. От студентов требовалось составить программу, модели­ рующую очередь на отрезке времени до 30 ООО мин. В табл. 8.2 представлен бланк задания, который выда-