2.4. Тестовое покрытие и качество системы тестов

Для того чтобы понять достаточно ли разработано тестов, необходимо

измерять полноту тестирования, которое называется тестовое покрытие.

Структурное: степень покрытия тестами структуры – кода, подсистемы или компонентов - в системе, предназначенной для тестирования.

Поведенческое: степень покрытия тестами поведения – рисков качества, режимов работы, функций, акивностей и прочего применения – системы предназначенной для тестирования.

Тестирование электронных курсов должно быть сбалансированное. Оно не может предугадать все возможные действия пользователей , но должны быть протестированы все заявленные функции, которые поддерживает данный курс. В конкретной области подходит поведенческое тестовое покрытие. Все разработанные критерии в таблице 1 должны быть покрыты тестами, только тогда можно будет говорить о максимальном покрытии функционала разрабатываемого электронного курса.

3. Разработка общих алгоритмов тестирования

3.1. Тестовые сценарии и их выполнение

Test Case (пер. с англ. «Тестовый случай») – последовательность шагов, которые необходимо выполнить.

Test Suite (пер. с англ. «Тестовый набор») – набор логически связанных тестовых сценариев [14].

Алгоритм тестирования - это набор Tast Case, другими словами Test Suite. Ниже представлены таблицы разбитые по выработанным критериям тестирования, каждая из которых содержит обобщенный набор Test Case.

• Функциональность.

Вся функциональность системы должны быть описана в требованиях по системе еще на самых ранних стадиях создания электронных курсов. В таблице 2 представлены основные блоки функциональности, которые могут присутствовать или отсутствовать в разрабатываемых электронных курсах.

Таблица 2 – Тестовые сценарии функциональности

Название	Описание проверки	Ожидание на выходе
Идентификация	1.Вход в систему с различными данными. 2.Права доступа к различным ресурсам. 3.Истечение срока действия пароля или лицензии.	1.Корректный вход/не вход в систему. 2.Доступность/недоступность тех или иных ресурсов системы. 3.Предупреждение об истечение каких-либо временных данных.
Информационные печатные модули	1.Доступ к информации. 2.Отображение информации. 3.Переходы между информационными блоками. 4.Работа всех подключаемых технологий: флеш, Ajax, JS и т.д.	1.Возможность просматривать информацию в соответствии с правами доступа пользователя. 2.Правильное отображение, кодировки, языки и т.д. 3.Возможность перехода между всеми разрешенными правами информационными блоками. 4.Корректное отображение всех технологий, или использование заглушек.

Продолжение таблицы 2

Название	Описание проверки	Ожидание на выходе
Информационные видео модули	1.Доступ к информации. 2.Отображение информации. 3.Возможность замены видео- информации.	1.Возможность просматривать информацию в соответствии с правами доступа пользователя. 2.Варианты использования проигрывателей или использование встроенного проигрывателя. 3.Проверка использования альтернативных вариантов замены видео-модуля.
Модули проверки знаний.	1.Подключения к тестам или другим модулям проверки знаний. 2.Прохождение тестов. 3.Проверка результатов тестов. 4.Временные и количественные характеристики.	1.Подключение к тестовым заданиям при политике, используемой в данном электронном курсе. 2.Варинты навигации по тестам, варианты ответов и их изменение и т.д. 3.Отображение результатов теста, проверка подсказок или возможность перепроверки знаний. 4.Ограничения по времени и количествам прохождения теста.
Действия с информацией.	1.Загрузка данных на ПК. 2.Копирование информации.	1.Проверка возможности/невозможности загрузки данных на ПК. 2.Возможность,невозможность реализации копирования информации.

Продолжение таблицы 2

Название	Описание проверки	Ожидание на выходе
Соответствие требованиям.	1. Соотнесение требований и функционала.	1. Проверка однозначного и полного выполнения всех начальных требований.

• Нагрузка.

Так как большинство электронных курсов используют либо Internet, либо Intranet, то не обойтись без нагрузочного тестирования количества подключаемых пользователей. Некоторые варианты тестирования представлены в таблице 3.

Таблица 3 – Тестовые сценарии нагрузочного тестирования

Название	Описание проверки	Ожидание на выходе
Нагрузки подключений.	1.Подключение от 0-50 пользователей. 2.Подключение от 50-200 пользователей. 3.Поключение от 200-1000. 4.Подключение свыше 1000.	Среднестатистическая система обязана корректно работать в диапазоне от 0-200 такой нагрузки. Не выдерживание каких-либо нагрузок должна корректно предупреждать об этом пользователей.
Поведение при пиковых нагрузках.	1.Количество пользователей достигло предела. 2.Падение сервера.	1.Пуск следующих пользователей должен быть корректно приостановлен. Предупреждение о пиковой нагрузке, пользователей использующих систему и предложение чаще сохранять свои данные. 2.Обработка вариантов падение сервера.

Продолжение таблицы 3

Название	Описание проверки	Ожидание на выходе
Транзакции.	1.Большое число подключений с посылом каких-либо данных.	1.Сохранность всех данных, обработка в пределах допустимого времени всех транзакций.

• Обработка дат и времени.

Правильная обработка всех математических составляющих электронных курсов таблица 4.

Таблица 4 – Тестовые сценарии по обработке дат и времени

Название	Описание проверки	Ожидание на выходе
Работа с временем.	1.Временные ограничения на выполнение. 2.Формат представления времени. 3.Различные часовые пояса.	1.Проверка выполнения временных ограничений на подключения или их отсутствие. 2.Единый формат представление времени. 3.Использование электронных курсов в различных странах. Отображение времени.

Продолжение таблицы 4

Название	Описание проверки	Ожидание на выходе
Работа с математическими данными.	1.Математические действия. 2.Использования различных вариантов ввода мат. операций. 3.Использование различных типов данных.	1.Правильная реализация всех математических действий, если того требует система. 2.Варианты ввода с клавиатуры или использование встроенного калькулятора с ограниченным или расширенным набором действий. 3.Проверка на обработку различного представления данных (нпрм.: «.» или «,»).

• Качество данных.

Изначальное качество и правдивость предоставляемой информации должно быть определено еще на этапе сбора требований к разрабатываемому курсу. В таблице 5 представлены тестовые сценарии по проверки качества данных.

Таблица 5 – Тестовые сценарии по качеству данных

Название	Описание проверки	Ожидание на выходе
Целостность информации.	1.Переходы между модулями информации.	1.Проверка отображения всех модулей без пропадания кусков.
Логическое окончание.	1.Проверка всех модулей информации на правильно завершение.	1. Логическое завершение предоставляемых данных.

Продолжение таблицы 5

Название	Описание проверки	Ожидание на выходе
Правдивость информации.	Зависит от предоставляемых курсов.	Проверяется на этапе сбора требований. Информация должна быть взята из проверенных источников и тщательно проанализирована.
Сохранность данных.	1.Экстренное сохранение информации. 2.Варианты сохранения результатов. 3.Варианты отгрузки данных с сервера. 4.Постоянное сохранение изменений.	1.Поведение относительно сохранности информации при пиковых нагрузках или непредвиденных обстоятельствах поведения системы. 2.Варианты самоличного сохранения информации. 3.Варианты загрузки предыдущих сохранений/откаты. 4.Проверка наличия периодического сохранения информации системой.

• Локализация.

Электронные курсы, как уже говорилось, чаще всего используют сеть. Вопрос локализации электронных курсов затрагивает такие понятия, как кроссбраузерность, отображение и загрузка курсов в разных условиях и т.д. В таблице 6 представлены варианты тестовых сценариев.

Таблица 6 – Тестовые сценарии локализации

Название	Описание проверки	Ожидание на выходе
Кроссбраузерность.	1.Использование различных браузеров. 2.Использование различных версий поддерживаемого браузера.	1.Проверка работоспособности во всех заявленных браузерах. 2.Использование различных версий поддерживаемых браузерах.
Обработка страниц.	1.Поддержка кодировки. 2.Языковая составляющая.	1. Корректное отображение информации. 2.Поддержка языковых стандартов.
Новая версия курса.	1.Обновление версионности электронных курсов.	1.Корректная работа каждой версии во всех заявленных браузерах.
Поддержка на различном ПО.	1. Варианты используемго ПО.	1. Проверка на различных машинах: Linux, Windows, Mac.

• Безопасность.

Тестирование безопасности очень большая и важная тема, особенно для систем, которые используют сеть. Для тестирования безопасности необходимо использовать различные сторонние продукты, но изначально необходимо определить на сколько в создаваемом курсе важна безопасность.

• Документирование.

Документирование сложных систем происходит еще с этапа сбора требований.

Таблица 7 – Тестовые сценарии по документированию

Название	Описание проверки	Ожидание на выходе
Требования.	1.Требования системы. 2.Проверка соответствия.	1. Проверка правильности требований к ОС и другим средствам и условиям. 2. Проверка соответствия требований продукта и требований к системе.
Подсказки.	1.Проход электронных курсах с использованием подсказок системы.	1. Проверка всех подсказок, которые сопровождают пользователя по всему курсу.

• Удобство использования.

Последнее время все большее внимание уделяется Usability (в пер. с англ. «удобство использования»). Вопросы связанные с удобством и понимание каких-либо систем должны быть тщательно рассмотрены, в том числе в электронных курсах. Варианты, когда пользователь не понимает вопросов или навигации системы, влечет за собой отказ от данного продукта и последующее падение престижа и прибыли компании. В таблице 8 представлены варианты тестовых сценариев по удобству использования.

Таблица 8 – Тестовые сценарии по Usability

Название	Описание проверки	Ожидание на выходе
Единообразие.	1. Проход по всем модулям.	1. Проверка стилистического единообразие элементов электронных курсов: кнопок, скроллов, меню, картинок и т.д.

Продолжение таблицы 8

Название	Описание проверки	Ожидание на выходе
Навигация.	1.Навигация в пределах одного модуля. 2.Навигация вне модуля.	1. Проверка всех вариантов передвижения по модулю. Понимание и ясность. 2. Переход в другие модули и обратно.
Пригодность к использованию.	С учетом особенностей целевой аудитории.	Если данные курсы рассчитаны на людей с плохим зрением или с какими-то ограничением им должно быть удобно использовать данный курс. Увеличенные кнопки, звуковые сигналы и т.д.
Понимание.	1. Обратная связь.	1. Пользователь всегда должен понимать: где он находится, куда он может двигаться, где посмотреть подсказку, каких действий ждет от него система т.д.