Лекции / Лекция 5. Автоматизация тестирования

Раздел 4. Особенности индустриального тестирования

Автоматизация тестирования

Автоматизация тестирования – использование специального ПО (помимо тестового ПО), для выполнения и контроля выполнения тестов, а также сравнения ожидаемого и фактического результатов работы ПО. Автоматизация тестирования ПО позволяет осуществлять выполнение часто повторяющихся рутинных и необходимых для максимизации тестового покрытия задач.

Основные виды автоматизированного тестирования:

-автоматизированное тестирование кода, т.е. тестирование на уровне программных модулей, классов и библиотек;

-автоматизированное тестирование графического пользовательского интерфейса, позволяющее генерировать пользовательские события, т.е. нажатия клавиш, события от манипулятора графической информации ("мыши"), отслеживающие реакцию ПО и соответствие этой реакции спецификации;

-автоматизированное тестирование программного интерфейса ПО, предназначенного для взаимодействия с другим ПО.

Автоматизированные тесты ПО – это ПО, предназначенное для тестирования другого ПО.

Автоматизация тестирования

В ходе выполнения инструментальной системы автоматизации тестирования на каждом из соответствующих этапов создается и сохраняется следующая информация:

1)набор тестов, достаточный для покрытия тестируемого приложения в соответствии с выбранным критерием тестирования, как результат ручной или автоматической разработки (генерации) тестовых наборов и драйвер/монитор пропуска тестового набора;

2)результаты прогона тестового набора, зафиксированные в Log-файле.

3)статистика тестового цикла, содержащая:

- результаты пропуска каждого теста из тестового набора и их сравнения

с эталонными величинами;

-факты, послужившие основанием для принятия решения о продолжении или окончании тестирования;

-критерий покрытия и степень его удовлетворения, достигнутая в цикле тестирования.

_

Автоматизация тестирования

Издержки тестирования

Чем больше трудозатрат вкладывается в процесс тестирования, тем меньше ошибок в продукте остается незамеченными (A).

Со временем, по мере обнаружения более сложных ошибок и дефектов (В), эффективность низкозатратных методов падает вместе с количеством обнаруживаемых ошибок (С).

Таком образом, соответствующие методы тестирования имеют свою нишу, где они хорошо обнаруживают ошибки, тогда как вне ниши их эффективность падает. Поэтому необходимо совмещать различные методы и стратегии отладки и тестирования с целью обеспечения запланированного качества программного продукта при ограниченных затратах, что может быть достигнуто использованием процесса управления качеством программного продукта.

На практике используются следующие методы тестирования и отладки, упорядоченные по связанным с их применением затратам:

-статические методы тестирования

-модульное тестирование

-интеграционное тестирование

-системное тестирование

-тестирование реального окружения и реального времени

_

Автоматизация тестирования

Фазы процесса тестирования

Впроцессе тестирования целесообразно выделить следующие фазы:

-определение целей (требований к тестированию): какие части системы будут тестироваться, какие аспекты их работы будут выбраны для проверки, каково желаемое качество и т.п.

-планирование: создание графика (расписания) разработки тестов для каждой тестируемой подсистемы; оценка необходимых человеческих, программных

иаппаратных ресурсов; разработка расписания тестовых циклов.

-разработка тестов, то есть тестового кода для тестируемой системы, если необходимо - кода системы автоматизации тестирования и тестовых процедур (выполняемых вручную)

-выполнение тестов - реализация тестовых циклов.

-анализ результатов.

После анализа результатов возможно повторение процесса тестирования,

начиная с планирования, разработки тестов или даже с уточнения и/или переопределения целей.