5.Тестирование
Тестирование – процесс испытания программы на тестах с целью обнаружения в ней ошибок.
Тест – контрольный пример, в котором для конкретных данных известен правильный (эталонный) ответ. Иными словами, тест - совокупность входных данных и эталонного результата. Результаты, фактически полученные при выполнении теста, сопоставляются с эталонными, и на основе этого делается вывод о наличии или отсутствии ошибки.
При разработке тестов для получения эталонного ответа или просто эталона рекомендуется по возможности использовать алгоритм, отличающийся от того, который проверяется в программе. Эта рекомендация связана с тем, чтобы при разработке теста избежать повторения логической ошибки в случае, если таковая была допущена в процессе разработки программы.
Установлено, что для получения программы, свободной от ошибок по результатам тестирования, необходимо более одного теста. Число тестов определяется структурой программы и применяемой стратегией тестирования.
Тот факт, что результат, полученный при выполнении программы на тесте, не совпадает с эталонным ответом, свидетельствует о наличии ошибки в ней. Устранение ошибок в программе происходит в процессе отладки. Этот процесс включает три этапа: этап локализации ошибки, этап внесения исправлений в программу и последующее тестирование. Локализация ошибки имеет целью найти то место в программе, в котором имеет место ошибка. Если тесты построены правильно, то локализовать ошибку удается сравнительно просто. Иногда локализовать место ошибки на основании одного теста не удается. Тогда возможно потребуется разработать дополнительные тесты, опираясь при этом на некоторую гипотезу о причине ошибки. После внесения исправлений в программу рекомендуется испытать программу не только на том тесте, который обнаружил ошибку, но и на других, а именно на тех, вторые проходили правильно. Эта рекомендация связана с тем, что внесенные исправления могут привести к некорректному поведению программы в других ситуациях. Процессы отладки познаются в практической деятельности и, и здесь в полном объеме не рассматривается. Отметим только, что в данной главе рассматриваются методы разработки тестов, позволяющие максимально упростить процедуру локализации ошибки.
Вопросы разработки тестов рассматриваются во многих публикациях, но систематизированного изложения их в доступной литературе найти практически невозможно. Из наиболее интересных можно рекомендовать следующие книги, посвященные именно вопросам тестирования программ:
1. Майерс Г. Надежность программного обеспечения. – М.: Мир. - 1980 г.
2. Майерс Г. Искусство тестирования программ/Пер. с англ. под ред. Б.А.Позина. – М.: Финансы и статистика. - 1982 г.
3. Канер С. Тестирование программного обеспечения. – М.: Диасофт. - 2000г.
В данной главе рассматриваются основные подходы к тестированию.
5.1. Общие принципы тестирования
При разработке тестов рекомендуется руководствоваться следующим:
Хорошим является тест, который имеет высокую вероятность нахождения ошибки, если она имеется.
Каждый тест, по возможности, должен быть предназначен для обнаружения отдельной ошибки алгоритма (программы). В этом случае будут созданы условия для нахождения места «выработки» ошибки. Иначе говоря, тест должен быть построен так, чтобы обеспечить не только факт выявления ошибки, но и локализовать место в программе, где она была допущена.
Описание предполагаемых входных данных должно быть необходимой частью тестового набора, особенно для вычислительных задач.
Тест построен неудачно, если он формирует одно и то же сообщение для нескольких ошибок.
Необходимо проверять не только то, делает ли программа то, для чего она предназначена, но и не делает ли она того, что не должна делать.
Тесты для неправильных или непредусмотренных входных данных следует разрабатывать также тщательно, как и для правильных.
Количество тестов должно быть таким, чтобы с их помощью можно было обнаружить все возможные ошибки алгоритма. Это можно обеспечить только за счет систематизированного подхода к их построению. В основе систематизации при построении лежит та или иная стратегия. Совокупность тестов, покрывающая все возможные ошибки, называется системой тестов.
При испытаниях программы порядок применения тестов не безразличен и должен быть таким, чтобы облегчить локализацию одной ошибки, если в программе их несколько.
Желательно избегать окончательного тестирования программы автором ее разработки.