5.3. Стратегии тестирования

Под стратегией тестирования мы будем понимать совокупность принципов, положенных в основу построения системы тестов. Рассмотрим две наиболее популярные стратегии: стратегию «черного ящика» и стратегию «белого ящика». Первая предполагает, что при разработке тестов известны только функции программы, но не известно, как они реализуются. Иначе говоря, данная стратегия опирается на то, что разработчик тестов знает, ЧТО должна делать программа, но не знает КАК.

Вторая стратегия (стратегия «белого ящика») опирается на знание внутренней структуры (содержания действий) программы. При этом разработчик тестов знает, и ЧТО и КАК делает программа. И, следовательно, ее применяют, в первую очередь в процессе разработки алгоритма, а также при внесении изменений в готовую программу.

В рамках этих стратегий предложено несколько различных методов. Рассмотрим их.

5.3.1. Методы стратегии «черного ящика»

Тестирование в рамках данной стратегии предполагает управление по входным и выходным данным. Тесты разрабатываются на основе внешней спецификации. Никаких знаний о структуре программы не предполагается. Эта стратегия может быть использована на любом этапе разработки и при эксплуатации (использовании) программы. Отметим, что именно она используется при проведении приемо-сдаточных испытаний, т.е. при сдаче заказчику готовой программы.

Применяемые методы:

• метод эквивалентных разбиений

• метод граничных условий

• метод функциональных диаграмм

• метод, основанный на предположениях об ошибке

Метод эквивалентных разбиений основывается на разбиении области возможных значений входных данных на конечное число классов эквивалентности. В основе выделения класса лежит утверждение, что для любого значения внутри класса эквивалентности поведение программы идентично, и, следовательно, проверка программы для каждого класса может быть проведена всего одним тестом.

При таком подходе можно выделить два этапа разработки тестов: первый – выделение классов эквивалентности (не только для допустимых, но и для недопустимых входных данных) и затем разработка по одному тесту для каждого класса. Суть изложенного продемонстрируем на примере.

Пример. Пусть требуется разработать тесты для проверки следующих функций, реализуемых программой работы с базой данных:

• ввод с клавиатуры (1)

• сохранение в файле (2)

Выбранная функция задается пользователем номером, указанным в скобках.

Пусть структура записи в базе имеет следующий вид:

• фамилия (от 2 до 20 символов)

• возраст (от 0 до 100)

И пусть число записей в базе не должно быть больше 2000.

Примечание. В базе данных не может быть двух одинаковых записей.

Вначале выделим классы эквивалентности и представим результаты в таблице.

Входные условия	Правильные классы	Неправильные классы
Классы для кода операции
Операция	Число: 1 или 2 (соответствуют номерам существующих операций с базой)	Любое другое число (несуществующая операция)
Классы для операции «Ввод»
Фамилия	2 <= длина <= 20	длина < 2 длина > 20
Возраст	0 . . 100	значение < 0 значение > 100
Наличие в базе определенной фамилии	да / нет	–
Номер введенной записи	1, > 1 ( до 2000)	–
Классы для операции «Сохранение в файле»
Наличие записей в базе	да / нет	–
Наличие в базе одноименного файла	да / нет	–
Наличие свободного места на диске	да / нет	–

Теперь приступим к составлению тестов. Тесты будем составлять таким образом, чтобы каждому классу эквивалентности соответствовал, по крайней мере, один тест (входной набор).

Анализ таблицы показывает, что для проверки реакции программы на ввод номера операции требуется 2 теста, по одному для правильного и неправильного классов, например, ввести числа 2 и 5.

Для проверки операции «Ввод» требуется 10 тестов:

• по три теста (для правильного и неправильных классов) при вводе фамилии и возраста;

• по два теста для правильных классов для двух остальных проверяемых ситуаций (для случая «да» и «нет», и для случая «1» и «>1»)

Для проверки операции «Сохранение в файле» при аналогичном подходе нужно шесть тестов.

Метод граничных условий. Тесты в данном случае выбираются так, чтобы проверить ситуации, возникающие непосредственно НА границах, ВЫШЕ или НИЖЕ границ входных данных (а иногда и в выходных) для классов эквивалентности.

Необходимость применения данного метода станет очевидной, если проанализировать тесты, предложенные в методе эквивалентных классов для проверки реакции программы на корректное задание возраста. Там предложено разработать три теста: один – для правильного класса и два – для неправильных. Согласно этой рекомендации можно предложить, например, следующие входные данные для этих тестов: 10 – для правильного класса, –3 и 120 – для неправильных классов (при проверке введенного возраста). Очевидно, что эти тесты не позволят проверить, как ведет себя программа на границах между правильным и неправильными классами (при входных значениях 0 и 100). А поскольку текст программы неизвестен, то этих трех тестов становится недостаточным для получения уверенности, что программа ведет себя правильно при любом числе, предъявляемом на входе при вводе возраста. Метод граничных значений и используется для снятия этих ограничений.

При его применении, как правило, сначала подготавливают тесты по методу эквивалентных разбиений, а затем они дополняются тестами, построенными на основе знания границ правильных классов, если первоначального набора тестов недостаточно. Используемый метод определяет, сколько и какие тесты должны быть добавлены.

Итак, в отличие от метода эквивалентных разбиений в данном методе для любого класса эквивалентности значения входных данных выбираются таким образом, чтобы проверить тестами каждую границу класса эквивалентности.

Отсюда видно, что использование данного метода приводит к увеличению количества тестов по сравнению с предыдущим. Так, например, для проверки операции ввода фамилии для правильного класса нужен не один, а два теста, с фамилией длины 2 символа и длины ровно 20 символов.

Отметим, что при разработке тестов по методу граничных значений иногда учитываются не только входные условия, но и пространство результатов.

Метод функциональных диаграмм. К недостаткам рассмотренных выше методов относится то, что при их применении не предполагается проверять поведение программы при различных комбинациях входных данных. Метод функциональных диаграмм позволяет сделать это.

Для этого на основе внешней спецификации строятся функциональные диаграммы, связывающие причины и следствия, а затем по этим диаграммам строятся тесты. Для получения представления о сути метода рекомендуется обратиться к работам Г.Майерса [8].

Метод, основанный на предположениях об ошибке. Это метод чаще всего применяется в процессе отладки, т.е. в случае, когда выясняется, что программа ведет себя неправильно. При данном методе перечисляются возможные ошибки и ситуации, в результате которых могут эти ошибки появиться, и для них составляются тесты.