5.1. Общие принципы тестирования

При разработке тестов рекомендуется руководствоваться следующим:

1. Хорошим является тест, который обнаруживает ошибку, если она имеется.

2. Каждый тест, по возможности, должен быть предназначен для обнаружения отдельной ошибки алгоритма (программы). Тест должен быть построен так, чтобы обеспечить не только факт выявления ошибки, но и локализовать место в программе, где она была допущена.

3. Тест построен неудачно, если он формирует одно и то же сообщение для нескольких ошибок.

4. Необходимо проверять, не делает ли программа того, чего не должна делать.

5. Тесты следует разрабатывать также и для неправильных или непредусмотренных входных данных.

6. Количество тестов должно быть таким, чтобы с их помощью можно было обнаружить все возможные ошибки алгоритма. Это можно обеспечить только за счет систематизированного подхода к их построению. В основе систематизации при построении лежит та или иная стратегия. Совокупность тестов, покрывающая все возможные ошибки, будем называть системой тестов.

7. При испытаниях программы порядок применения тестов не безразличен и должен быть таким, чтобы облегчить локализацию одной ошибки, если в программе их несколько.

8. Желательно избегать окончательного тестирования программы автором ее разработки.

5.2. Виды тестирования

Учитывая большое разнообразие классов решаемых задач, для их тестирования используются несколько видов тестирования. Рассмотрим их.

Статическое тестирование предполагает поиск ошибок путем просмотра текста программы и выполнения ее «вручную», т.е. «в уме» или на бумаге (Правила фиксации результатов при этом описываются в разделе «Правила записи трассировки»). Применяется в процессе разработки алгоритма.

Детерминированное тестирование заключается в подготовке контрольных примеров (тестов) на основе некоторой методики. Оно применяется в случае, когда для полноценных испытаний программы достаточно иметь ограниченное количество тестов. И при этом для каждого теста можно задать не только определенные константы в качестве входных данных, но и в качестве эталонного ответа. Такое тестирование называется «численным», хотя для многих задач значения могут быть не числовыми, а символьными. Данное тестирование может применяться как в процессе разработки алгоритма, так и в процессе испытаний и отладки на компьютере.

Стохастическое тестирование используется тогда, когда, в силу сложности проверяемого алгоритма, количество тестов, которое требуется разработать на основе любой методики, слишком велико. В этом случае для выработки (генерации) входных данных тестов используют программные датчики случайных чисел, а вместо эталонных ответов определяются только области данных, которым должны принадлежать эталонные ответы. Количество тестов выбирается на основе методов теории планирования экспериментов. Данный вид тестирования применяется при испытаниях программы на компьютере. В данном пособии стохастическое тестирование не рассматривается.

Следует отметить также, что имеются классы задач, в которых вычисления при исполнении теста могут быть чрезмерно трудоемкими, а иногда и непосильными, в первую очередь на этапе разработки алгоритма. В первую очередь это относится к решению физических и математических задач. Целью тестирования в таких случаях обычно является стремление установить факт, что некоторая последовательность действий в алгоритме обеспечивает корректную реализацию заданной системы уравнений. При таком тестировании эталонного ответа в традиционном «числовом» виде предложить невозможно, и эталон представляется в виде строки-формулы. Такое тестирование называют символьным. В данном пособии этот вид тестирования также не рассматривается.