4. Метрики измерения usability пи

Usability ПИопределяют метрикамиэффективности, производительностии удовлетворенности. Выбор метрик зависит от целей специфического исследования, характеристик пользователей, специфицированных заданий и контекстно-зависимых особенностей.

В отчете о тестировании должны быть представлены метрики для измерения эффективности, производительности, удовлетворенности.

Эффективность

Эффективность связывает цели использования продукта с точностью и полнотой, с которой могут быть достигнуты эти цели. Общие метрики измерения эффективности включают в себя процент завершенных задач, частоту ошибок, частоту помощи тестеров участникам и частоту обращения к help или документации участниками во время выполнения заданий и др. В процессе измерения количественных показателей не принято во внимание то, как цели выполнения заданий были достигнуты, учитываюттолько полноту их достижения.

Критерий завершения

Критерий завершения – это, например, процент участников, которые полностью и правильно достигли цели выполнения каждойзадачи, если это происходит частично, то полезно сообщить о среднем достижении целей, которые оцениваются в пределах от 0 до 100 %.

Например, задача проверки орфографии может содержать определение и исправление десяти ошибок правописания, и критерий завершения можно вычислить на основе процента исправленных ошибок.

Метрики измерения ошибок

Ошибки фиксируются в тех случаях, когда участники не заканчивают выполнение задачи успешно или были попытки реализовать ее более одного раза. Оценочный лист должен содержатьошибки, классифицированные по типам.

Метрики для измерения ошибок: процент операций, приведших к ошибке; среднее количество ошибок привыполнении операции опытными пользователями (именно опытными, так какна неопытных могут сказываться факторы обучения); количество ошибок, не обнаруженных и не исправленных пользователями, и др.

Метрики измерения помощи

Когда участник не может продолжать выполнение задания, тестеровщик иногда оказывает прямую процедурную помощь, чтобы он мог его завершить. Степень необходимого вмешательства тестеровщика приведена в таблице 6. В этом случае в отчете должны быть представлены как критерии завершения без помощи (т.е. без вмешательства тестеров), так и критерии с помощью (т.е. с вмешательством). Описания этих метрик различны.

Таблица 6 – Степень вмешательства тестеровщика

Степень подсказки	Реакция пользователя	Действия тестеровщика
Первая	Испытывает некоторое затруднение	Отвечает на вопрос поль-зователя, но не сообщает дополнительных подробностей
Вторая	Сталкивается с проблемой	Подсказывает ответ на вопрос
Третья	Не может выполнить	Дает прямую рекомендацию к выполнению задания

Метрики измерения помощи: количество и частота обращений к справочной системе; длительность периода между началом использования системы и точкой, в которой скорость работы/количество ошибок пользователей перестает увеличиваться; разница количества ошибок/скорости работы пользователей с опытом применения системы и без него и др.

Например, если бы участник получил помощь при выполнении зада-чи A, то он не был бы включен в группу, которая успешно реализовала задачу, в том случае, если выполнение этой задачи не предусматривало помощь. Однако, если выполнение задачиБ предусматривает оказание помощи и участник успешно ее выполняет после предоставления помощи, то он может быть включен в группу как справившийся с задачейБ.

В некоторых случаях во время usability-тестирования ПИ участники проинструктированы, как использовать помощь online или документацию, которые являются частью продукта,в случае, когда они не могут закончить выполнение задачисамостоятельно. Поэтому в отчете желательно сообщить о частоте доступов к инструментам поддержки.

Образец метрики измерения эффективности приведен в таблице 7 [2].

Таблица 7 – Образец метрики измерения эффективности ПИ

Эффективность	Критерий окончания тестирования	Качествоработы	Условие тестирования
После выполнения пяти сценариев создания оглавления в документе 75% пользователей способны успешно создавать оглавление в документе	Выполнение создания оглавления в документе 75 % пользователей	Успешное выполнение создания оглавления в документе	Выполнение пяти сценариев создания оглавления в документе

Информация в таблице интерпретирована таким образом, что, если в результате тестирования после реализации пяти сценариев задачи меньше 75% пользователей еевыполнят, то ПИ потребует доработки, поскольку он не достиг требуемого уровня эффективности.

Доработка ПИ происходит до тех пор, пока 75% пользователей не выполнят задачу при условии реализации пятиее сценариев.

Производительность

Производительность связывает достигнутый уровень эффективности с количеством израсходованных ресурсов. Производительность, оценивают:

• средним временем, необходимым для выполнения задачи, обнаружения иисправления ошибок;

• количеством команд, используемых при выполнении операций (подразумевается, что чем больше команд, тем дольше их выполнять);

• длительностью поиска сведений в документации;

• количеством команд, более эффективных, чем использованные пользователем, и др.

Производительность может также коснуться других ресурсов (например, общей стоимости использования, израсходованных ресурсов оперативной, дисковой памяти и др.).

Производительность – это время, потраченное на выполнение задачи. При определении производительности должны быть известны: среднее время, потраченное на выполнение каждой задачи участниками, егодиапазон и стандартное отклонение. Пример метрики измерения производительности ПИприведен в таблице 8.

Таблица 8 – Образец метрики измерения производительности

Производительность	Критерий окончания тестирования	Качество работы	Условия тестирования
После выполнения пяти сценариев покупки билета 75% пользователей будут в состоянии успешно купить билет в течение десяти минут	Выполнена задача покупки билета 75% пользователей в течение десяти минут	Успешно купят билет	Выполнение пяти сценариев покупки билетов

Информацию, приведенную в этой таблице,интерпретируют аналогично информации, представленной в таблице 7.

Удовлетворенность

Удовлетворенность отражает субъективное отношение пользователя к продукту и обычно измеряется в баллах. Пользовательская удовлетворенность – важнаяпричина использования продукта. Для измерения удовлетворенностииспользуют анкеты как стандартные, так и разработанные специально для тестирования в организациях. К стандартным анкетам относят: CUSI, QUIS, SUMI и SUS. Они предназначены для субъективной оценки метрик Удовлетворенность, Практичность и Легкость использования продукта. По результатам анкетирования определяют количество пользователей, имеющих степень удовлетворенности продуктом 5,5 баллови выше по 10-балльной шкале. Считают, что в этом случае ПИ не требует доработки.

Пример анкеты для измерения удовлетворенности приведен в Приложении Д, а пример формальной анкеты для оценки сайта – в Приложении Ж.

Пример описания метрики измерения удовлетворенности ПИ приведен в таблице 9.

Таблица 9 – Пример метрики измерения удовлетворенности ПИ

Удовлетворенность	Критерийокончания тестирования	Качество работы	Условия тестирования
После реализации пяти сценариев задач 85% пользователей оценят степень своей удовлетворенности ПИ 5,5 баллами и выше(по 7- балльнойшкале)	Оценка удовлетворенности выполнением задачи85% пользователей – 5,5 баллов по7-балльной шкале	Степень удовлетворенности	Выполнение пяти сценариев задачи

Информацию, записанную в этой таблице,интерпретируютаналогично информации в таблице 7.

Удовлетворенность может быть оценена также на основе поведения респондента. В этом случае тестеры подсчитывают количество проявленных реакций в процессе выполнения пользователем задачи. Подсчитав количество проявленных реакций (огорчился, задумался, улыбнулся и др.), можно оценить удовлетворенность. Разумеется, эти оценки относительны; их ценность проявляется только в сравнении с новым интерфейсом или в сравнении с конкурентами.

Примеры оценки критериев удовлетворенности пользователя ПИ приведены в таблицах 10, 11.

Инструкция к заполнению таблицы:оцените по 5-балльной шкале степень вашей удовлетворенности ПИ при выполнении задачи, где 1 балл – совершенно не согласен; 2 балла – скорее, не согласен; 3 балла – затрудняюсь ответить; 4 – скорее, согласен; 5 – совершенно согласен.

Таблица 10 – Критерии для определения удовлетворенности пользователя

Критерий	Реакция пользователей, балл
	Совершенно не согласен	Скорее, не согласен	Затрудняюсь ответить	Скорее, согласен	Совершенно согласен
На выполнение задачи потребовалось больше времени, чем ожидал	1
Задачу было легко выполнить		4
Выполнение задачи вызвало затруднение			3

Таблица 11 – Образец формальной анкеты, оценивающей удовлетворенность пользователя

Критерий	Реакция пользователей
	Нет	Скорее, нет	Затрудняюсь ответить	Скорее, да	Да
	Шкала баллов
	-2	-1	0	+1	+2
Во время выполнения задачи я ошибался			0
Система способна делать все, что мне нужно и даже больше		-1
Система работает достаточно быстро				+1
Мне нравится внешний вид интерфейса				+1
Я чувствую, что если лучше изучу систему, я смогу с ее помощью выполнить операции, о которых сейчас даже и не подозреваю					+2
Систему можно легко настроить под свои нужды			0
Начать работу было легко; я не столкнулся с существенными трудностями				+1
Всякий раз, когда ошибался, я с легкостью замечал и исправлял свою ошибку			0
Я доволен скоростью своей работы				+1
Во время выполнения задачи чувствовал себя вполне уверенно					+2

Инструкция к заполнению таблицы:оцените по шкале баллов степень своего согласия с предложенными критериями следующим образом: центральный ответ оценивается нулем баллов, левый вариант ответа – 2 балла, правый – +2 балла, промежуточные значения – либо -1, либо +1 балл соответственно. Сумма баллов является сравниваемым значением.

На вопросы отвечают все пользователи, выполняющие тестирование. На основе заполненных анкет определяют степень удовлетворенности ПИ.

В отчете должны быть описаны все показатели usabilityПИ (эффективность, производительность, удовлетворенность и метрики их измерения). В случае использования анкет их текст должен быть приведен в приложении, как и результаты анкетирования пользователей.

Для измерения параметров usability ПИ в домашнем задании используйте метрики, приведенные в таблице 12.

Таблица 12 – Метрики измерения usability ПИ

Параметры измерения usability ПИ	Метрика измерения
Эффективность	Часть пользователей, которые успешно выполнили задачу, относительно общего количества пользователей в группе, %
Производительность	Время, затрачиваемое пользователем на выполнение каждой задачи, а также среднее его значение
Удовлетворенность	Субъективная оценка удобства использования, измеренная по 5-балльной шкале. Текст формальной анкеты разрабатывают самостоятельно на основе приведенных в примере анкет