Классификация тестов при отборе
Множество тестов, пригодных для повторного использования.
Множество тестов, требующих повторного запуска.
Множество устаревших тестов.
Новые тесты, которые еще не запускались и могут быть использованы для тестирования.
Рисунок 42.7
Возможности повторного использования тестов
Уровни повторного использования теста:
Уровень 1. Тест не допускает повторного использования и требуется создание нового набора тестов.
Уровень 2. Повторное использование возможно только для входных данных теста.
Уровень 3. Возможно повторное использование как входных, так и выходных данных теста.
Уровень 4. Наивысший уровень повторного использования теста.
Критерии оценки методики выборочного повторного тестирования:
Критерий 1. Безопасность (выбор тестов, которые потенциально могут обнаруживать ошибки).
Критерий 2. Точность (выбор только тестов с изменившимся поведением). В лучшем случае можно рассчитывать лишь на некоторое увеличение точности.
Критерий 3. Эффективность (применение автоматизации и хранение информации о ходе исполнения тестов в минимально возможном объеме).
Критерий 4. Универсальность (применимость ко всем языкам и языковым конструкциям).
В общем случае целесообразно находить некоторый компромисс между безопасностью, точностью, эффективностью и универсальностью.
Классификация выборочных методов
Для проверки корректности различных подходов к регрессионному тестированию используется модель оценки методов регрессионного тестирования по критериям:
Полнота — мера отбора тестов, на которых результат выполнения измененной программы отличен от результата выполнения исходной программы, вследствие чего могут быть обнаружены ошибки в модифицированной программе. Метод, полный на 100%, называется безопасным.
Точность — мера способности метода избегать выбора тестов, неспособных обнаруживать ошибки в модифицированной программе. Точность множества тестов — отношение числа тестов данного множества, на которых результаты выполнения новой и старой программ различаются, к общему числу тестов множества.
Эффективность — оценка вычислительной стоимости реализации требований тестирования по времени и памяти, а также возможности автоматизации.
Универсальность — мера способности метода к применению в достаточно широком диапазоне ситуаций.