Методы тестирования
В ходе юзабилити-тестирования будут применены два: пассивное наблюдение за выполнением тестовых заданий(для сбора количественных данных) и активное вмешательство (для сбора качественных данных):
Пассивное наблюдение за выполнением тестовых заданий. Сущность метода очень проста: респондент выполняет тестовые задания, его действия анализируются (во время теста или после, по протоколам), что позволяет как найти проблематичные фрагменты, так и замерить эргономические характеристики интерфейса.
Активное вмешательство. В этом методе юзабилити-специалист не ждет милостей от природы в лице респондента, а старается взять их сам. После каждого действия респондента экспериментатор выспрашивает его, почему респондент действует именно так; на каждом экране экспериментатор спрашивает, как именно респондент понимает назначение и функции этого экрана. Этот метод ближе к фокусированному интервью, чем к собственно тестированию – например, метод можно использовать даже без тестовых заданий, лишь бы был интерфейс для обсуждения. Понятно, что при активном вмешательстве никакие измерения попросту невозможны, но зато объем получаемых качественных данных наиболее велик.
Тестовый сценарий
Задача: Получить основные навыки по работе с системой. Тестовые задания: 1 Добавить нового клиента(ввести INN=2356535, Фамилия= Суглобов, Имя=Роман, Отчество= Валерьевич, адрес=Танкиста Храпчикова 12-21) , используя меню главной формы. Ошибки. Метрики: процент операций, вызвавших ошибку; среднее число ошибок на операцию у опытных пользователей; количество ошибок, не обнаруженных и не исправленных пользователями. 2 Поиск заказа(№ 12543002 Подоконник пластиковый РБК). Скорость работы пользователя. Метрики: длительность выполнения операции; время, затраченное на обнаружение ошибок; время, затраченное на исправление ошибок; количество команд, исполняемых при выполнении операции ; длительность поиска сведений в документации; количество команд; снижение производительности при длительной работе. 3 Просмотреть список всех клиентов не используя меню и сочетания горячих клавиш 4 Найти наиболее быстрый способ распечатать текущий заказ. Обучаемость навыкам работы с системой. Метрики: количество и частота обращений к справочной системе; длительность периода между началом использования системы и точкой, в которой скорость работы/количество ошибок пользователей перестает расти; разница в количестве ошибок/скорости работы у пользователей с опытом использования системы и без такого опыта.
5 Создать новый заказ(№ 2143455752, наименование: Откосы, Страна: Россия, фирма: Трайв, Стоимость:160 руб, кол-во:20 п.м., Скидка: нет, INN клиента: 213420530, адрес доставки: Ул. Озерная, 12-34 ) наиболее оптимальным способом. Сохранение навыков работы с системой. Метрики: разница в скорости работы/количестве ошибок у пользователя после часа работы с системой и у того же пользователя в начале использования системы после длительного перерыва.
Выводы по результатам тестирования:
Успешность – респонденты правильно выполняют 90% заданий.
Эффективность – скорость работы пользователя: составление заказа клиента меньше чем за 3 минут.
Эффективность – ошибки: при вводе 8 форм количество ошибок ввода не превышает двух.
Эффективность – обучаемость навыкам работы с системой: при выполнении задания 1, отличающегося от задания 2 только вводимыми данными и выбора подпункта меню, респонденты не совершают ни одной ошибки (не считая опечаток).
Удовлетворенность – по результатам анкетирования число баллов выросло на 15% по сравнению с прежними результатами.