Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ

.pdf
Скачиваний:
10
Добавлен:
25.10.2023
Размер:
13.88 Mб
Скачать

90

Глава 3

Пытаясь найти оценки квалификации, которые мож­ но было бы использовать в качестве средства предва­ рительного отбора при формировании однородных по со­ ставу групп испытуемых, экспериментаторы собрали дан­ ные об отметках, полученных испытуемыми в процессе обучения программированию фирмой «Систем девелопмент корп.». Кроме того, как уже упоминалось, испытуе­ мые проходили «основной тест квалификации програм­ миста» (ВРКТ). Были определены корреляции между всеми экспериментальными оценками, скорректирован­ ными показателями, отметками и результатами по тесту ВРКТ. Результаты корреляционного анализа указывают на отсутствие существенной корреляционной взаимосвя­ зи между оценками деятельности и различными отмет­ ками и тестовыми оценками, за исключением отдельных ложных корреляций между параметрами и общими фак­ торами.

Наиболее интересным результатом этого исследова­ ния оказалась существенная взаимная корреляция меж­ ду отметками, полученными в процессе обучения про­ граммированию, и оценками по тесту ВРК.Т. Эта взаи­ мосвязь становится особенно заметной в том случае, когда учитывается только одна из двух тестовых оце­ нок, предусматриваемых тестом ВРКТ. При использо­ вании первой части теста ВРКТ эти корреляции нахо­ дятся в пределах 0,64—0,83. Две из четырех корреля­ ционных взаимосвязей характеризуются уровнем значи­ мости 0,05, а для одной он составляет даже меньше 0,01, несмотря на столь малые объемы выборок. Это озна­ чает, что тест ВРКТ оценивает те же навыки, которые учитываются при выставлении отметок в процессе обу­ чения программированию. Следует также иметь в виду, что ни учебные отметки, ни тестовые оценки ВРКТ нель­ зя использовать для прогнозирования характера деятель­ ности программистов-стажеров в экспериментальных си­ туациях, предъявлявшихся испытуемым в рассмотрен­ ном исследовании.

Эти данные можно интерпретировать тремя способа­ ми: 1) тестовые оценки ВРКТ и учебные отметки обще­ значимы, а задачи, предъявлявшиеся в ходе эксперимен­ та, не являются типичными задачами программирова­ ния; 2) задачи, общезначимы, но тестовые оценки ВРКТ

Исследования

деятельности программистов

91

и учебные отметки нельзя считать показателями, 'харак­ теризующими деятельность программиста; 3) между ре­ зультатами выполнения теста ВРКТ и отметками, полу­ ченными в процессе обучения программированию, дей­ ствительно существует зависимость, отражающая специ­ фику поведения программиста, однако корреляционные взаимосвязи имеют лишь слабый или умеренный харак­ тер и не могут быть выявлены на тех очень малых вы­ борках, которые использовались в этом эксперименталь­ ном исследовании. Возможность выдвижения трех таких гипотез не позволяет однозначно интерпретировать ре­ зультаты обоих экспериментов. Только дополнительные исследования могут дать ответ, какая гипотеза или ком­ бинация гипотез справедлива.

Интерпретация результатов двух этих экспериментов совместно с результатами двух других эксперименталь­ ных исследований дается в следующей главе. Объеди­ ненные результаты четырех экспериментальных работ подготавливают основу для изложения обширного экс­ периментального исследования, которому посвящены вторая и третья части книги.

Глава 4

АНАЛИЗ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО СОПОСТАВЛЕНИЯ ОТКРЫТОГО И ЗАКРЫТОГО РЕЖИМОВ ИСПОЛЬЗОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

В настоящей главе заканчивается рассмотрение экс­ периментальных исследований, посвященных сопостав­ лению открытого и закрытого режимов использования вычислительных систем. Результаты всех шести иссле­ дований анализируются совместно. Полученные выводы порождают интересные концепции и конструктивные ги­ потезы о решении задач в системе человек •— вычисли­ тельная машина, которые в свою очередь обеспечивают «критическую массу» научных знаний, необходимую для продолжения экспериментальных исследований. Первые экспериментальные работы привели к появлению пред­ варительной концептуальной системы, которую можно использовать как основу для более широких исследова­ ний. Эта система не представляет собой дедуктивный ре­ зультат абстрактного анализа, а получена в основном индуктивным способом из эмпирических соображений.

4.1. Экспериментальные

исследования деятельности

пользователей-студентов

 

Описания

четырех

экспериментальных исследований,

в которых в

качестве

испытуемых участвовали студен­

ты и аспиранты, представляют собой соответственно ре­

зюме статьи Адаме и Кохена

[1], неопубликованной ра­

боты

Сакмана, выполненной им в 1969 г. в Училище

ВВС

США, а

также статей

Смит [57]

и Шацоффа,

Цзяо

и Уайига

[50]. В

табл. 4.1—4.4 кратко описаны

эти

экспериментальные

исследования.

Внимательное

изучение таблиц позволит выяснить характер, содержа­ ние, а также сильные и слабые стороны каждого иссле­ дования. В них приводятся сведения об испытуемых, за-

Таблица 4.1

Основные характеристики и результаты экспериментального исследования, выполненного Смит

 

 

 

 

Методика

 

 

 

 

 

 

 

 

 

Испытуемые

 

 

 

 

 

Объем

 

выборки

 

127

 

 

 

 

 

 

Испытуемые

 

Студенты последнего курса и аспи­

 

 

 

 

ранты,

слушающие

 

вводный

курс

Уровень

квалификации

программирования

 

 

 

Большинство

испытуемых

рабо­

 

 

 

 

тало в этой области не больше года

 

 

 

 

Задачи

 

 

 

 

 

 

Число

и

тип

 

Две

легкие

«разминочные»

зада­

 

 

 

 

чи и четыре экспериментальные за­

 

 

 

 

дачи:

бесконечный

тригонометриче­

 

 

 

 

ский ряд, разложение матриц, тран­

 

 

 

 

сляция

с языка,

эвристическая

про­

 

 

 

 

грамма

 

 

 

 

 

 

Степень

сложности

 

Средняя

для

начинающих

 

Среднее

время, затрачи­

На полное решение всех задач

ваемое

на

выполнение

за­

требуется

около

60

ч

 

 

дания

 

 

 

 

 

 

 

 

 

 

Характеристики систем с открытым

и закрытым

доступом

Система

с открытым

до­

Стэнфордская СПО на основе вы­

ступом

 

 

 

числительной машины типа В5500

 

 

 

 

фирмы «Барроу корп.»; система от­

 

 

 

 

личается

мгновенным

временем

обо­

 

 

 

 

рота

 

 

 

 

 

 

Система с пакетной об­

Та же система с обычным време-'

работкой

нем оборота

 

Использованный язык

Вариант

расширения

языка

 

АЛГОЛ,

разработанный

фирмой

 

«Барроу корп.»

 

Время

оборота

пакета

Переменное,

обычно

порядка

не­

программ

 

скольких

 

часов

 

 

 

 

 

 

Порядок проведения

эксперимента

 

 

 

План

эксперимента

Однородные

группы

 

испытуемых;

 

 

 

каждый испытуемый решает две за­

 

 

 

дачи

в

режиме

обычной пакетной

 

 

 

обработки

и

две — в

режиме мгно­

 

 

 

венной

пакетной

обработки

 

Статистический

анализ

Сравнение

 

по

описательным

ста­

 

 

 

тистикам;

критерии

статистической

 

 

 

значимости

 

не

использовались

 

Управление порядком

Сбалансированный

порядок

ис­

проведения эксперимента

пользования

обычной

и

мгновенной

 

 

 

пакетной

обработку

 

 

 

Продолжение табл. 4.1

Мотивационное регулиОтметки рование

Процедуры регистрации Машинная регистрация, само­ регистрация студентов и анкеты

Результаты

Оценки эффективности

 

Мгновенная пакетная

Обычная пакетная

 

 

деятельности

 

 

обработка1

обработка!

Время

написания

перво­

440

405

начальной

программы,

мин

 

 

Время

 

перфорации

ис­

109

108

ходного

варианта

програм­

 

мы,

мин

 

 

 

 

 

 

Время

подготовки

к

но­

311

293

вому

прогону

програм­

 

мы,

мин

 

 

 

 

 

 

Число

прогонов

програм­

7,1

6,6

мы,

приходящееся

 

на

од­

 

ного

студента

 

 

 

 

 

Число прогонов

програм­

2,5

1,9

мы,

приходящееся

на

одну

 

работу

 

 

 

 

 

3,0

 

Общее время, затрачивае­

3,7

мое на выполнение задания,

 

 

 

дни

 

 

 

 

 

 

0,277

 

Среднее

машинное

вре­

0,186

мя,

приходящееся

на

один

 

 

 

прогон

программы,

мин

70

 

Предпочтение студентов, %

24

 

 

 

 

 

 

 

 

1 Сведения об использовании критериев статистической значимости не приводятся.

РЕ З Ю М Е

1.На достаточно большой выборке, сформированной из пользова­ телей-студентов, установлено, что мгновенное время оборота сопряжено с меньшими по сравнению с режимом обычной па­ кетной обработки временами составления, кодирования и от­ ладки программ.

2.Режим мгновенного времени оборота требует больших затрат

машинного времени, чем обычный вариант пакетной обработки.

3.Режиму мгновенной пакетной обработки отдает предпочтение существенно большее число студентов, чем обычному варианту

пакетной обработки.

4. Использование режима мгновенного времени оборота связано с изменением характеристик процесса программирования, что выражается в сокращении интервалов между последовательными

Продолжение табл. 4.1

прогонами программы и уменьшении времени выполнения экспе­

риментального

задания.

 

 

 

 

 

 

 

5. Сделанные

выводы определяются

разбросом экспериментальных

данных

и отсутствием в опубликованном исследовании

сведений

о применении

статистических критериев

значимости.

 

 

 

 

 

 

 

 

 

Таблица

4.2

Основные

характеристики

и результаты

экспериментального

исследования, выполненного

Шацоффом, Цзяо

и Уайигом

 

 

 

 

Методика

 

 

 

 

 

 

 

 

Испытуемые

 

 

 

 

 

Объем

выборки

 

4

 

 

 

 

 

 

Испытуемые

 

Студенты последнего

курса,

обла­

 

 

 

 

дающие

очень

хорошими

способно­

 

 

 

 

стями

к

программированию

 

Уровень

квалификации

«Некоторый» опыт в области про­

 

 

 

 

граммирования

 

 

 

 

Число и тип

Степень сложности

Среднее время выполне- ннязадания

Задачи

Четыре задачи: интегрирование ме­ тодом Монте-Карло, разложение ал­ гебраических выражений, работа с транслятором типа «Pig Latins, пре­ образование формата текста

Средняя для квалифицированных студентов

Полное решение всех задач тре­ бует около 40 ч

Характеристики

систем с открытым и закрытым доступом

Система с открытым до­ ступом

Система пакетной обра­ ботки

Использованный язык Время оборота пакета

программ

«Система с распределением времени»

Массачусетского

технологического

института

на основе

 

вычислительной

машины

типа

I B M 7094

 

 

Система

пакетной

обработки

на

основе вычислительной

машины

ти­

па I B M 7094,

ориентированная

на

обслуживание

научных

исследова­

ний

 

 

 

 

 

 

 

Не

указывается

 

 

 

 

Не

указывается

 

 

 

 

Порядок

проведения

эксперимента

План эксперимента

«Греко-латинский

квадрат»: 4 за­

 

дачи, 4 испытуемых,

сопоставление

 

в открытом

и закрытом режимах

 

 

 

 

 

Продолжение

табл.4.2

Статистический

анализ

Дисперсионный

анализ,

корреля­

 

 

 

ционный анализ

 

 

Управление

порядком

Использование

сбалансированного

проведения эксперимента

плана

эксперимента

 

Мотивацношюе

регули-

Не

указывается

 

 

рование

 

 

 

 

 

 

 

Процедуры

регистрации

Машинная

регистрация,

журнал

 

 

 

регистрации

работ, анкетный тест

Результаты

Оценки эффективности деятельности

Общее время, затрачива­ емое на выполнение зада­ ния, дни

Время, затрачиваемое на анализ, мин

Время, затрачиваемое на программирование, мин

Машинное время, мин Общие затраты, долл. Диапазон индивидуаль­ ных различий по включен­ ным в таблицу результатов

параметрам

Режим

Режим

Уровень

разделения

пакетной

времени

обработки

значимости

29,5

46

0,08

3059

2295

 

5672

2737

0,02

92

101

 

1579

1075

0,08

От

3:1 до 4:1

 

РЕ З Ю М Е

1.Студенты, имеющие опыт использования СПО, студенты, не имеющие опыта использования СРВ, а также те, кто в обоих режимах в основном применяет процедуры, свойственные па­ кетной обработке, расходуют на составление, перфорацию и отладку программ меньше времени и ограничиваются меньшими денежными затратами в режиме пакетной обработки, а не в ре­

жиме разделения времени.

2.Составление, перфорация и отладка программ в режиме разде­ ления времени занимают в общем меньше времени, чем в режиме

пакетной

обработки,

даже

если

испытуемые не имеют

опыта

его

использования.

 

 

 

 

 

 

3. | Индивидуальные различия

студентов экспериментальной

груп­

пы

оказались существеннее различий, обусловленных

режимами

разделения времени

и

пакетной

обработки.

 

 

4. Сделанные

выводы

определяются

типом языков программиро­

вания, использовавшихся в обоих режимах, а также значениями

и вариабельностью

времени

оборота; ни одно из этих

сведений

не

приводится в работе [50].

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Табшца

4.3

 

Основные

характеристики

И

результаты

экспериментального

 

исследования, выполненного

в

Училище

ВВС

США

 

 

 

 

 

 

 

 

Методика

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Испытуемые

 

 

 

 

 

 

 

 

Объем

выборки

 

 

53 (33 испытуемых работали в ре­

 

 

 

 

 

 

 

жиме

 

разделения

времени,

20 —

 

 

 

 

 

 

 

в

режиме

пакетной обработки)

 

Испытуемые

 

 

Студенты

последнего

курса

 

 

Уровень

квалификации

Новички

 

 

 

 

 

 

 

 

 

 

 

 

 

Задачи

 

 

 

 

 

 

 

 

 

 

 

Число

и

тип

 

 

Задачи из вводного курса

програм­

 

 

 

 

 

 

 

мирования

 

 

 

 

 

 

 

 

Степень

сложности

 

Средняя

 

 

 

 

 

 

 

 

Среднее

время

выполне­

9

 

 

 

 

 

 

 

 

 

ния задания,

ч

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Характеристики

систем

с открытым

и закрытым

доступом

 

Система

с

открытым

до­

Вычислительная

машина

типа

ступом

 

 

 

 

 

GE

635

 

 

 

 

 

 

 

 

 

Система

с

закрытым

до­

Вычислительная

машина

типа

ступом

 

 

 

 

 

В 5500

 

 

 

 

 

 

 

 

 

.

Использованный

язык

В режиме разделения времени .—

 

 

 

 

 

 

 

язык BASIC, в режиме пакетной

 

Время

оборота

пакета

обработки — язык

АЛГОЛ .

 

 

2

 

 

 

 

 

 

 

 

 

программ,

ч

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Порядок

проведения

 

эксперимента

 

 

 

 

 

План

эксперимента

 

Сопоставление деятельности

одно­

 

Статистический

анализ

родных

групп

 

 

 

 

 

 

 

Исследование

достоверности

раз­

 

Управление порядком

личия

средних

значений

 

 

 

 

Инструктаж

 

 

 

 

 

 

проведения

 

эксперимента

 

 

 

 

 

 

 

 

 

 

 

 

Мотивационное

регули­

Отметки

 

 

 

 

 

 

 

рование

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Процедуры

регистрации

Саморегистрация,

вывод

вычисли­

 

 

 

 

 

 

 

тельной машиной на печать резуль­

 

 

 

 

 

 

 

татов

 

регистрации

 

 

 

 

:

Основной

показатель

дея­

Число

человеко-часов •

 

 

 

тельности

пользователя

 

 

 

 

 

 

 

 

 

 

 

 

Оценки

 

 

 

 

Число

прогонов

программы:

оцен­

 

 

 

 

 

 

 

ка, выставляемая

экспериментатором;

 

 

 

 

 

 

 

объективный

контроль

 

 

 

7-2019

бценкн эффективности деятельности

Объем выборки Число человеко-часов

Число прогонов програм­ мы

Отметка за выполнение задания

Индивидуальные разли­ чия (по числу затраченных человеко-часов)

Индивидуальные разли­ чия (по числу прогонов программы)

 

Продолжение

табл,4.1

Результаты

 

 

Группа

Группа

Уровень

разделения

пакетной

времени

обработки

значимости

33

20

7,9

9,4

21

12

0,01

85,5

79,8

От 2,6 до 27,2 (10:1)

От

3 до 79 (26:1)

 

РЕ З Ю М Е

1.При использовании режима разделения времени наблюдается

тенденция к уменьшению числа

человеко-часов, необходимых

для

решения

стандартной

задачи, и к

улучшению

качества

окончательного

результата

(программы).

Однако ни один из

этих

эффектов

не

является

статистически

значимым.

 

2. Режим пакетной

обрасотки

при

решении

стандартной

задачи

позволяет обойтись меньшим числом прогонов программы и меньшим машинным временем.

3. Индивидуальные различия по числу затрачиваемых человекочасов и по машинному времени намного существеннее разли­ чий, обусловленных использованием вычислительных систем

разных

типов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таблица

4.4

Основные характеристики

и

результаты

экспериментального

исследования,

выполненного

Адаме и

Кохеном

 

 

 

 

 

Методика

 

 

 

 

 

Испытуемые

 

 

 

Объем выборки

 

8

 

 

 

 

Испытуемые

 

 

Студенты

 

 

 

Уровень

квалификации

 

Изменяется

в широких пределах

 

 

 

Задачи

 

 

 

 

Число

и тип

 

 

Две

математические

задачи

 

Степень

сложности

 

От

легких

до задач

средней

слож­

 

 

 

ности

 

 

 

 

Среднее

время,

затрачи­

 

5

 

 

 

 

ваемое на выполнение за­ дания, ч

 

 

 

 

 

 

 

 

Продолжение

табл. 4.4

Характеристики

систем

с открытым и закрытым

доступом

Система с открытым до-

Вычислительная

машина

типа

стулом

 

 

 

 

GE 265

 

 

 

 

 

 

 

Система

с

закрытым

до­

Вычислительная

машина

типа

ступом

 

 

 

 

Control

Dala

6600

 

 

 

 

Использованный

язык

 

ФОРТРАН

 

 

 

 

 

 

Время

оборота

пакета

«Мгновенное»

 

 

 

 

 

программ,

мин

 

 

 

 

 

 

 

 

 

 

 

 

 

Порядок

проведения

эксперимента

 

 

 

 

План эксперимента

 

Сопоставление

деятельности

одно­

Статистический

анализ

родных

 

групп

 

 

 

 

 

Исследование

достоверности

раз­

Управление

порядком

личия

средних

значений

 

 

Недельное

«вживание»

в

условия

проведения эксперимента

эксперимента

 

 

 

 

 

 

Мотивационное

регули-

Испытуемые-добровольцы

 

 

 

гование

 

 

 

 

 

 

 

 

 

 

 

 

 

Процедуры

регистрации

Саморегистрация

студентов,

а н ­

Основной показатель дея­

кеты,

автоматическая

регистрация

Число

человеко-часов

 

 

 

тельности

пользователя

 

 

 

 

 

 

 

 

 

 

Оценки

 

 

 

 

Анкета,

машинное

время

 

 

Оценки Еффективности деятельности

Число человеко-часов (совместно для обеих задач)

Отметка за выполнение задания

Предпочтение студента

Индивидуальные разли­ чия

Затраты, связанные с ис­ пользованием вычислитель­ ной системы, долл.

Результаты

 

 

 

«Мгновенная» пакет-

Разделение времени

н а

я обработка

 

 

11,0

 

 

 

10,2

 

5,5

правильных

 

5

правильных

 

 

решений

 

 

решений

 

7 : 1

в пользу

 

«мгновенной»

па­

 

кетной

 

обработки

 

Д л я

пяти

оценок

времени,

за­

траченного

студентом,

зафиксиро­

ваны изменения

в пределах от 3 : 1

 

 

до

37,5 : 1

 

 

1000

 

 

 

150

 

РЕ З Ю М Е

1.Режимы разделения времени и «мгновенной» пакетной обработки одинаково эффективны в отношении затрат человеко-часов и

качества решения задач.

2.Денежные затраты, связанные с использованием вычислитель­ ной машины, при решении двух экспериментальных задач в режиме «мгновенной» пакетной обработки значительно меньше, чем в режиме разделения времени.

7*

Соседние файлы в папке книги из ГПНТБ