Подготовка к проведению оценки

Поскольку не все коллективы разработчиков ПО могут привлечь профессионалов в области обеспечения практичности, рассмотрим на примере, как проектная бригада готовится, проводит и формирует отчетность по оценке практичности. Тщательная подготовка к проведению оценки и ее выполнение способствуют обоснованному ре­зультату, а умение выслушать пользователей может обеспечить устойчивую и качественную обратную связь с ними. Независимо от используемого метода при проведении оценю! необходимо следовать базовой последовательности шагов для привлечения пользователей и получения надежных результатов (рис. 14.2).

План. Подобно другим основным видам проектной деятельности, оценка требу­ет тщательного планирования. К основным задачам планирования относятся уста­новление целей, сроков, зависимостей и подбор персонала для проведения оценки. Кроме того, задачи планирования включают выбор методов оценки и определение степени участия пользователей.

Проект. Если в проведении оценки практичности участвует персонал, знако­мый с экспериментальным проектированием методов, можно разработать соответст­вующий план. Сложные оценки, оценки жизненно важного или ответственного ПО требуют очень тщательного проектирования. Простые оценки, проектируемые и проводимые бригадой разработчиков, могут принести вполне заслуживающие резуль­таты. Подлежащие изучению стороны продукта выбираются среди критических ком­понент проекта ПИ.

Эвристические оценки также требуют подготовки проекта. Как минимум, необходимы сами эвристики. Чтобы установить контекст и оценку распространенных эври­стик (таких как нагрузка на память пользователей и согласованность), применяют сценарии, для этой цели также подходят критерии и правильные ответы на вопросы (эксперт не имеет намерений тестировать продукт по отношению к непредусмотрен­ным целям).

Простой, но надежный проект тестирования практичности для большинства при­ложений получается с помощью выбора от пяти до семи представительных сценари­ев, которые оценивают шесть пользователей от каждой из групп, входящей в общий круг пользователей продукта. Более сложное тестирование предусматривает выпол­нение пользователями аналогичных задач как с применением конкурентного, так и разрабатываемого в рамках проекта ПО. В проводимом таким образом эксперименте пользователи попеременно работают с программными приложениями. В то время как одна группа использует проектируемое ПО, вторая испытывает альтернативное ПО. Затем группы переключаются с одного приложения на другое и выполняют те же за­дачи. После этого результаты сравниваются.

Брифинг, предваряющий оценку. Для обсуждения любых аспектов оценки участникам настоятельно рекомендуется провести информационное совеща­ние — брифинг. Это полезно, прежде всего, с точки зрения создания необходимой общей атмосферы и правильного выбора контекста. Персонал, принимающий уча­стие в качестве экспертов или наблюдателей, информируется в отношении целей, ро­лей и процедур оценки. Независимо от того, имеют ли пользователи доступ к проект­ным решениям в виде прототипа или продукта, полезно установить благоприятную атмосферу. Перед началом тестирования каждому эксперту, наблюдателю и пользователю следует напомнить один фундаментальный аспект оценки — оценке подлежит продукт, а не пользователи.

Необходимо достичь согласия, основанного на получении данных в отношении Целей тестирования и способа использования собранной информации. Каждому пользователю предоставляется доступ к системе с установленным на ней продуктом, копией всей документации и артефактами, которые касаются продукта, а также инструкцией по выполнению задач. От пользователя не обязательно требуется чтение документации на продукт, если только одна из целей оценки не состоит в определении 1 эффективности обучения с помощью документации, предшествующей тестированию, j

Полезное правило. Брифинг следует готовить так же тщательно, как и другие аспекты оценки.

Анкетирование, предваряющее оценку. До начала оценки осуществляется контроль уровня навыков экспертов и пользователей — желательно знать, какой вклад могут внести те или иные специалисты в результаты оценки. Для этого про­ектируется надлежащая анкета, которая позволит определить, насколько предмет ис­пытаний соответствует предполагаемому кругу пользователей. Специалистов, не вхо­дящих в предполагаемую группу, нет необходимости оценивать.

Следует задать несколько допускающих разные толкования вопросов, связанных с выяснением того, насколько пользователь соответствует предполагаемому пользова­тельскому профилю. Эти вопросы составляют на основании пользовательского про­филя для продукта (глава 10).

Ниже приведены примеры вопросов, связанных с навыками.

• Как бы вы оценили уровень вашей осведомленности о сети World Wide Web и Web-броузерах?

• Как бы вы оценили уровень вашей осведомленности о названии заданной предметной области и ее задачах?

• Как бы вы оценили уровень вашей осведомленности о другом ПО, поддерживающем эти задачи?

В общем случае ответы на вопросы анкеты, предшествующей тестированию, занимают не более 10 минут.

Полезное правило. Необходимо провести анкетирование экспертов и субъек­тов тестирования, касающееся уровня их навыков.

Сценарии и задачи. Многие приложения поддерживают решения очень большого круга задач. Независимо от типа метода оценки попытка оценить такое большое количество задач неэффективна в отношении затрат и чаще всего в этом нет необходимости. Как правило, в ходе каждой оценки с привлечением пользователей достаточно рассмотреть от пяти до семи наиболее важных задач. Остальные задачи добавляются при анализе потенциальных проблемных областей, с которыми имеет дело проектная бригада, или наиболее часто встречающихся проблем с ПИ или сис­темами.

Для экспертов и субъектов тестирования выбранные задачи описываются в виде очень простых, выполняемых шаг за шагом, легких для чтения конкретных сценариев.

Следует помнить, что тестированию подвергается система, а не способность пользо­вателей читать и понимать сложные документы. Задачи упорядочиваются в соответ­ствии с вероятной последовательностью их начального использования, затем вводят­ся редко используемые задачи.

Полезное правило. В случае оценок, основанных на применении прототипов или реальных систем, может быть уместным начать и завершить тестирование ис­следовательским сценарием, который позволяет пользователям проанализировать возможности системы без выполнения определенной задачи.

Анкетирование по завершении сценария. По завершении каждого сценария оценки предусмотрено анкетирование. Анкеты разрабатываются таким об­разом, чтобы зафиксировать субъективное мнение пользователей в объективном сти­ле. Для получения всесторонней оценки системы необходимо предусмотреть вопрос в отношении каждого основополагающего фактора (т.е. функций, пользовательского интерфейса, производительности и т.д.). При необходимости в анкету добавляются другие вопросы, а пользовательские комментарии фиксируются.

Подход к составлению анкеты заключается в том, чтобы представить ее как серию нейтральных вопросов или утверждений, ответ на которые можно дать с помощью семи балльной шкалы, в которой значение 1 соответствует наихудшему варианту отве­та, а 7 — наилучшему. Можно использовать альтернативную шкалу, в которой значе­ние 0 соответствует негативному отношению, 1 — нейтральному ответу, 2 — одобре­нию. Слева после каждого вопроса оставлено свободное место для пользовательских комментариев. Вот примеры вопросов, задаваемых по завершении сценария.

Полезное правило. Анкета, используемая по завершении сценария, должна занимать примерно одну страницу текста.

Анкетирование по завершении испытаний. По завершении оценки Предусмотрено более обширное и детализированное анкетирование. Пользователи высказывают свое впечатление от продукта как целого, оцениваются основные, свя­занные с продуктом, факторы, а при необходимости в анкету добавляются другие специфические вопросы. Вот пример вопроса, задаваемого по завершении оценки.

Какова степень вашей удовлетворенности данным приложением?

Пример вопроса, который допускает разные толкования и направлен на выявление позитивных аспектов приложения, выглядит следующим образом.

Какие три аспекта приложения понравились вам больше всего?

Полезное правило. Анкета, используемая по завершении сценария, должна занимать примерно две страницы текста.

Вопросы направлены на сбор входной информации, касающейся всех основопола­гающих факторов и негативных аспектов системы.

Сбор других данных. Помимо данных, содержащихся в анкетах, к базовой информации, фиксируемой при прогоне сценария, относятся измерения, связанные с такими критериями.

• Время, необходимое для завершения сценария.

• Количество обращений за помощью.

• Ошибки и проблемы пользователя.

• Комментарии и вопросы пользователя.

• Места в сценарии, где пользователь был лишен возможности продолжать выполнение задачи или совершал серьезные ошибки.

Таким образом собирается остальная информация, которая определена для продукта с помощью измеримых критериев. Если субъект тестирования попадает в затруднительное положение, координатор тестирования просит пользователя отобра­зить меню Help (Справка) или обратиться к другой документации по продукту. Если после чтения справочной информации или документации пользователь не может решить проблему, координатор тестирования дает пользователю указания по преодо­лению трудности, которая затем фиксируется в списке тестовых проблем.

Так много пользователей, так мало времени. Многие специалисты чувствуют себя комфортно, проводя оценки с огромным количеством субъектов тестирования по всему миру, однако существующие циклы разработки ПО делают тестирование с большим количеством субъектов непрактичным. Известная мудрость гласит, что основные проблемы практичности можно выявить при тестировании, в котором участвует всего лишь шесть субъектов, однако при этом количественные данные не позволяют делать статистически достоверные выводы.

Полезное правило. Статистические методы малых выборок используются при работе с шестью или большим количеством субъектов, а выборки объемом 10 или 12 наблюдений могут дать очень хорошие аналитические результаты.

Выполнение оценки практичности приложений с 10 или большим количеством субъектов тестирования занимает несколько календарных недель. Анализ статистических данных и анкет по завершении работы проводят шесть субъектов тестирования до тех пор, пока наблюдаемые результаты остаются неизменными (не поступает никакой новой важной информации).

Полезное правило. Если результаты изменяются непредсказуемым образом, иногда принимают проектное решение, основанное на "копии" состояния процес­са в заданный момент времени или промежуточных результатах, возвращаются к проекту оценки, и/или продолжают оценку другим способом.

Субъекты тестирования. Для оценки практичности требуются субъекты тестирования, представляющие предполагаемый круг пользователей продукта. Луч­ший способ заполучить подобных субъектов тестирования— наладить партнерские отношения с предполагаемыми заказчиками.

Тестовая платформа. Оценку практичности проводят, основываясь на ран­них версиях документации, макетах, моделях, прототипах или реальных продуктах. Поскольку цель состоит в оценивании продукта в целом, следует использовать перво­начальные прообразы таких артефактов, как информация о продукте, комплектация, а также другие артефакты, основанные на опыте пользователей.

Полезное правило. Используемое для оценок интерактивное ПО должно быть хорошо "отшлифовано" в своей основе, прежде чем пользователи получат к нему доступ, иначе испытания могут принести непредвиденные негативные результаты.

Заказчик приходит из очень конкретной среды и не всегда расположен вникать в абстрактные понятия и выслушивать объяснения о том, почему что-то не работает, хотя выглядит правильно. Тестовая платформа должна удовлетворять возможным сценариям.

Координаторы тестирования. Каждый член проектной бригады должен иметь возможность работать с отдельными заказчиками и конечными пользователя­ми. Основное качество эксперта — открытость и объективность в восприятии инфор­мации и критики, исходящей от заказчика.

Полезное правило. Ничто не сравнится с непосредственными отзывами пользователя о продукте, в особенности, если это отрицательные замечания.

Следует настойчиво стремиться к установлению долговременных взаимоотноше­ний между проектной бригадой и заказчиками. Такое взаимодействие полезно для последующего разрешения проблем и усовершенствования продукта.

Проведение оценки

Помимо планирования и подготовки, проведение оценки включает другие основ­ные шаги. После того как материалы и объект тестирования готовы, бригада по оцен­ке продукта выполняет последующие задачи. Предположим, что планируется прове­дение оценки совместно с конечными пользователями.

Организация. Необходимым образом сконфигурированные аппаратные и программные средства установлены. Место проведения оценочных испытаний снабжено программным продуктом и сопутствующей информацией. Анкеты, инструктивная информация и сценарии имеются в распоряжении всех субъектов, участвующих в тестировании.

Пилотное тестирование. Для проверки тестовых материалов и процедур проводится предварительная оценка. Пилотное тестирование — это пробный прогон для оценки. Субъектов пилотного тестирования представляют реальные пользовате­ли. В зависимости от характера прохождения тестирования результаты пилотного тестирования сохраняются или отбрасываются. Если это целесообразно, в тестовые материалы и процедуры вносятся коррективы, чтобы обеспечить адекватный подход к оценке.

Анкетирование, предваряющее оценку. Проведите брифинг с поль­зователями. Раздайте анкеты, предваряющие тестирование, чтобы разобраться в опыте, навыках, работе и задачах пользователей. Если пользователи не подходят по своим навыкам и опыту, необходимо решить, продолжать ли тестирование.

Выполнение сценария. Попросите субъектов тестирования выполнить за­думанные задачи на объекте тестирования.

Полезное правило. Придумайте тест, который занимает один-два часа. Выде­лите время пользователям для того, чтобы задать вопросы и высказать свои заме­чания и требования.

В общем случае, каждый пользователь должен выполнить тест без подсказок или прерывания со стороны координатора тестирования. Когда пользователь не может продолжать дальнейшее выполнение теста, тест-координатор беспристрастно побуж­дает пользователя к исследованию системы или получению справки для поиска реше­ния. Если данных, полученных в результате обращения к справочной информации, недостаточно, тест-координатор вмешивается и предлагает свои инструкции.

Полезное правило. Помните, что тест задуман для оценки продукта, а не поль­зователя.

Замечания к оценке. Записывайте все пользовательские комментарии и за­мечания, которые требуется разъяснить конечным пользователям. Следите за тем, сколько времени расходуется на каждый артефакт ПИ и шаг задачи. Обязательно на­блюдайте за тем, где пользователи испытывают затруднения или делают ошибки. Примите к сведению, помогает ли справочная информация преодолеть пользовате­лям проблемы. Запишите замечания пользователей относительно информации о продукте.

Полезное правило. Иногда за пользователями в процессе оценки следят два человека — посредник (модератор) и наблюдатель.

Сравнение. Предоставьте возможность субъектам тестирования выполнить те же задачи на существующей системе. Если это невозможно, попросите субъектов тес­тирования описать, как работает текущая или другая система при выполнении задач.

Анкетирование по завершении сценария. По завершении каждого сценария и по окончании тестирования раздайте анкеты, касающиеся проведенной оценки. Определяющий вопрос звучит следующим образом: "Как вам нравится этот продукт в сравнении с тем, чем вы пользуетесь сегодня?"

Когда все сказано. Проектная бригада подвергает оценке анкеты и коммен­тарии одновременно с "разбором полетов" координаторов тестирования; Проводится статистический анализ и агрегация полученной информации.

Послесловие. По возможности следует продолжить работу с заказчиками сра­зу после анализа результатов тестирования. Важно узнать мнение пользователей по поводу внесения тех или иных изменений, основанных на их замечаниях и результа­тах испытаний. В данном случае цель состоит в том, чтобы понять, правильно ли вы­брано направление изменений.

Полезное правило. Устраняйте проблемы как можно скорее!

Продолжение. Макеты, модели и прототипы заменяются реальным ПО продукта по мере того, как оно становится достаточно надежным, чтобы справиться со сценариями и тестами заказчика. Чтобы получить представление о текущем уровне удовлетворенности пользователей, вновь следует обратиться к помощи сценариев и анкет.

Полезное правило. С течением времени уровень пользовательской удовлетво­ренности и продуктивности должен возрасти по мере того, как пользователям ста­новится доступен завершенный интерфейс и функциональные возможности. В про­тивном случае проект может отклониться от выбранного направления.

Коротко о всесторонней оценке. Оценки эвристического характера по­зволяют оценить систему в целом с точки зрения эффективности затрат. Эксперты используют систему таким образом, чтобы опробовать каждую возможность и компо­ненту ПИ. Каждая компонента оценивается по отношению к эвристикам и критери­ям, выбранным для продукта в целом. Результаты обобщаются и на их основе состав­ляется отчет об отклонениях продукта от заданных эвристик.

Оценка данных

После завершения оценки продукта с участием конечных пользователей в распо­ряжении координатора тестирования оказывается набор данных в табличной форме, которые касаются выполненных задач и заключительных анкет. Кроме этого у координатора имеются комментарии пользователей. Теперь возникает вопрос, что делать

с самооценками пользователей и оценками продукта. По возможности их следует представить в виде измеримых результатов.

Типичные результаты. Если построить зависимость времени, затрачиваемого на задачу, от времени использования системы, то для ПО с высоким уровнем практичности соответствующий график ясно показывает быстрое уменьшение объема времени на задачу и достигает минимума после того, как пользователи изучили систему и у них выработались стереотипы использования (рабочие навыки). Аналогичные кривые строятся для других метрик практичности (например, для обращений за помощью, уровня пользовательской удовлетворенности и пользовательского пред­почтения). Аналогично времени на задачу более практичная система имеет тенденцию демонстрировать меньшее количество обращений за помощью, более высокий уровень пользовательской удовлетворенности и пользовательского предпочтения.

Полезное правило. При проведении сравнительных оценок практичное ПО должно показывать более быстрое выполнение пользователями задачи, высокий уровень пользовательской удовлетворенности и пользовательского предпочтения. Компромиссы между этими факторами, как правило, не наблюдаются.

Наряду с количественными данными по завершении оценки в вашем распоряже­нии оказывается также информация качественного характера в виде замечаний, сде­ланных пользователями и координаторами тестирования. Пользователи констатиру­ют, что им нравится и что не нравится. Тест – координаторы описывают, что и как де­лают пользователи при выполнении задач, а также характеризуют проблемы.

Статистика и интерпретация. Описательная статистика, доверительные интервалы и тестовые гипотезы — вот некоторые методы, подходящие для анализа данных. Рассматриваемые методы применимы как к малым, так и к большим выбор­кам тестовых данных. Важную роль играет описательная статистика (среднее, дисперсия, минимум и максимум). К важным аналитическим средствам относятся также доверительные интервалы, проверка гипотез и дисперсионный анализ.

Причинный анализ. Анализ результатов тестирования должен быть направ­лен на выявление тенденций среди множества пользователей исходя из заданного ти­пичного поведения в процессе обучения и применения продукта. Вносимые в ПО из­менения не могут основываться на замечаниях только одного субъекта и наблюдениях над ним до тех пор, пока не будет указана неочевидная, но реальная проблема, тре­бующая подобных изменений.

Полезное правило. Следует проанализировать все анкеты каждого пользова­теля, участвующего в испытаниях.

Эксперт должен стремиться лучше понять, как отдельные пользователи характе­ризуют ПО и сделанные замечания, а не оценивать только итоговые замечания.

Формирование отчетности. Если расширенные отчеты специально не требуются, достаточно простых отчетов. Отчет должен содержать следующие вопросы.

• Анализ субъектов тестирования.

• Анализ продуктивности работы пользователей и ее разброса (описательная статистика).

• Оценка общего уровня удовлетворенности как функции основополагающих факторов (функций, ПИ, продуктивности и т.д.).

• Распределение уровня общей удовлетворенности по пользователям и задачам.

• Настойчивые и ненастойчивые замечания пользователей.

• Определение результатов испытания ПО в соответствии с критериями.

• Совокупность предположений в отношении того, каким образом преодолеть проблемы и добиться выполнения критериев (в случае, если ПО не прошло испытания).

• Список приоритетов проблем (с указанием количества пользователей, столк­нувшихся с определенной проблемой).

В результате проведенных испытаний проектная бригада располагает достаточ­ным объемом данных, чтобы воспроизвести проблему с пользовательской точки зрения.

Участие разработчиков

Для большинства видов оценок координатор тестирования разрабатывает и документирует подход к оценке, примерные задачи и сценарии, анкеты, метрики и крите­рии. Оценки могут предусматривать сбор данных с точки зрения определения уровня практичности ПО в краткосрочной и долгосрочной перспективе.

Полезное правило. Проанализируйте материалы, касающиеся отбора субъек­тов тестирования, просмотрите сценарии, выполните прогон тестов, просмотрите анкеты, а когда продукт будет готов с точки зрения установленных целей испыта­ний, приступайте к тестированию практичности и окажите помощь в проведении испытаний.

Участие в испытаниях дает, прежде всего, возможность понять, к чему стремятся пользователи, что они хотели бы делать и как. Кроме того, полезно узнать о непредвиденных и неожиданных проблемах (например, о дефектах, которые легко пропустить или не почувствовать во время реализации). Наблюдение за пользователями (заказчиками), которые сталкиваются с проблемами, инициирует процесс решения проблем, во многих случаях позволяющий быстро устранить выявленные ошибки (в противоположность ожиданию отчета после тестирования). Это еще один вид итерации.

После получения результатов оценки проектная бригада определяет свои даль­нейшие действия: какие изменения необходимо внести, на что не следует обращать внимание. Руководящие принципы обработки результатов тестирования и осуществ­ление итерации над продуктом для устранения проблем и повышения уровня практичности рассматриваются в главе 15.

Кратко о проверке за столом

Оценка практичности ПО и другие аспекты анализа пользовательского опыта были сведены к тестированию практичности в той или иной форме, во многих случая без участия проектной бригады. Перейдем к методу, требующему дальнейшего изучения и связанного с понятием "проверки за столом". Пусть задана функция l) = f(C, U Р, I, D) и разработчик оценивает адекватность ПО по отношению к переменным, определяющим практичность.

Простая проверка за столом принимает форму вопросов, основанных на принце пах, нормативах и эвристиках, применяемых при создании продукта. Эти вопросы задаются относительно предполагаемых требований к ПО, круга пользователей и задач для поддержки которых предназначен продукт.

• Достаточно ли возможностей обеспечивает ПО (обладает ли он достаточными функциональными возможностями для эффективного выполнения задач)?

• Достаточно ли свойств и методов, которыми наделен ПИ, для эффективного выполнения задач?

• Удовлетворяет ли интерфейс ключевым принципам простоты, эстетичнос­ти, продуктивности, приспособляемости.

  • Удалось ли избежать распространенных проблем, свойственных разработке ПИ (высокая загруженность памяти пользователя, неясность, слишком! большое количество экранов, слишком много переходов мышь-клавиатура, очень много шагов при выполнении задачи).

  • Достаточно ли быстро, реагирует система?

• Проста ли инсталляция?

• Достаточно ли надежно ПО?

• Являются ли документация и поддержка эксплуатации по своему характеру минимальными? Отвечает ли система помощи на реальные запросы пользователей?

Полезное правило. Для ответа на эти основополагающие вопросы вовсе не требуется проводить тестирование с пользователями.