Презентации / Lecture06p

Виды тестирования

Различные аспекты классификаций

•Проверяемые свойства

•Источник данных для моделирования ситуаций

•Уровень проверяемых компонентов

•Исполнитель – роль разработчика и исполнителя тестов

Виды тестирования по проверяемым свойствам

•По характеристикам качества

•Тестирование функциональности

•Тестирование надежности

•Тестирование производительности

•Тестирование совместимость

•Тестирование переносимости

•Тестирование защищенности

•Тестирование удобства использования – бывает, но устроено как валидация

•Тестирование удобства сопровождения – не бывает

•Аттестационное тестирование или тестирование на соответствие (conformance testing) – соответствие опр. стандарту или нормативу

•Регрессионное тестирование (regression testing)

Проверка того, что в новой версии старые тесты выполняются успешно

Виды тестирования по источнику данных

•По использованию структуры системы (и ее кода) для выявления разных ситуаций

•Тестирование черного ящика (black-box testing) – используют только требования

•Тестирование белого ящика (white-box testing, glass-box testing) – только структуру кода

•Тестирование серого ящика – смешанное

•Тестирование на отказ

Нацеленное на определенные возможные ошибки

•Тестирование работоспособности (sanity testing, smoke testing) – нацеленное на простейшие ошибки, нарушения базовых функций

•Нагрузочное тестирование (load testing) – большая нагрузка в пределах требований

•Стрессовое тестирование (stress testing) – нагрузка немного за пределами требований

Виды тестирования по уровню компонентов

• Модульное тестирование (unit testing)

Выделяется компилируемый компонент (исходно – минимальный, процедура или функция) и тестируется отдельно от всего остального

•Нужны заглушки

•Цель – покрытие кода

•Компонентное тестирование (component testing)

Достаточно крупный компонент (класс, несколько связанных классов)

•Цель – покрытие кода

•Интеграционное тестирование (integration testing)

Тестируется взаимодействие пары или нескольких компонентов

•Цель – покрытие разных возможных условий и способов взаимодействия

•Тестирование отдельных функций (feature testing)

Тестируется отдельная feature на системном уровне (через интерфейс системы)

•Цель – покрытие разных вариантов работы этой функции

•Системное тестирование (system testing)

Тестируется система в целом

• Цель – покрытие разных сценариев работы системы в целом

Пример ошибки интеграции

•Космический телескоп (Hitomi, до запуска

Astro-H)

•Запущен 17.02.2016, связь потеряна 26.03.2016 (два коротких эпизода 28 и 29.03)

•Причина – многочисленные ошибки в бортовых системах управления и ориентирования

•Последняя ошибка, ставшая роковой:

•Подсистема управления двигателями корректировки ожидала на входе матрицу моментов 3x3, симметричную с неотрицательными элементами

•Переданная матрица содержала отрицательные числа

•Это привело к чрезмерной раскрутке спутника, после чего несколько его частей, включая солнечные батареи, оторвались

•За 2 суток внутренние аккумуляторы полностью разрядились

Виды тестирования по исполнителю

•Тестирование разработчиков (developer testing)

•Разработчики, в окружении разработки

•Альфа-тестирование (α-testing)

•Разработчики в окружении разработки, строят тесты моделируя поведение пользователей

•Бета-тестирование (β-testing)

•Пользователи (отобранные, незадолго до выпуска релиза), строят тесты на основе нужных им действий

•Независимое тестирование (independent testing, third-party testing)

•Независимая команда (не разработчики, не заказчик и не пользователи)

•Приемочное тестирование (acceptance testing)

•Представители заказчика перед передачей в эксплуатацию, по итогам подписывается акт приемки

Выбор тестовых ситуаций

Обоснованный выбор небольшого множества ситуаций возможен, поскольку ПО обычно устроено регулярно

Типовые критерии по используемым данным

•На основе структуры входных (и выходных) данных

•Разбиение значений входных типов данных

double [ -∞, -MAX, -MAX..-10300, -10300..-1030, -1030..-1000, -1000..-1, -1, -1..-0.001, -0.001..-10-30, -10-30..-10-300, -10-300..-2-1022, -2-1022..-2-1074, -2-1074,

-0, +0, 2-1074, 2-1074..2-1022, 2-1022..10-300, 10-300..10-30, 10-30..0.001, 0.001..1, 1, 1..1000, 1000..1030, 1030..10300, 10300..MAX, MAX, +∞, NaN]

•Разбиение возможных результатов sin(x) = 1, -1, ½, -½

•На основе структуры тестируемой системы и ее кода

•Покрытие инструкций, ветвлений

•Покрытие потоков данных между модулями

•На основе структуры требований

•Покрытие требований, отдельных условий в требованиях

•На основе явных предположений о возможных ошибках

(все предыдущие – используют неявные предположения)

• Возможные переполнения буферов, обращения к пустым буферам

Типовые критерии по математической основе

•Грамматики (включая любые описания структур данных)

•A ::= (b)? ( c | d ) e (f)?

•Логические выражения

•A0 && !A1 || A1 && !A2 || !A0 && A2

• Графы

•Покрытие вершин

•Покрытие ребер

•Покрытие цепочек ребер, простых путей

•Покрытие du-пар и du-путей

oВсе можно свести к графам, но это непрактично