2. Понятие тестирования программного средства. Содержание процесса тестирования. Артефакты Процесса тестирования. Тестовый пример, процедура…

Тести́рование програ́ммного обеспе́чения — процесс исследования программного обеспечения (ПО) с целью получения информации о качестве продукта.

Задачей тестирования является:

• Планирование тестов, необходимых на каждой итерации, включая тесты на це­лостность и системные тесты. Тесты на целостность необходимо проводить пос­ле каждого билда, в то время как системные тесты требуются только в конце итерации.

• Проектирование и реализация тестов для создания тестовых примеров, опре­деляющих предмет тестирования, процедур тестирования, определяющих ме­тод проведения тестирования, и, по возможности, — исполняемых тестовых ком­понентов для автоматизации тестирования.

• Проведение разнообразных тестов и систематическая обработка результатов каждого теста. Билды, в которых обнаруживаются дефекты, подвергаются по­вторному тестированию. После этого может произойти возврат к предшеству­ющим рабочим процессам с целью исправления серьезных ошибок.

Артефакт: Модель тестирования

Модель тестирования в основном описывает то, каким образом при помощи тес­тов на целостность и системных тестов тестируются исполняемые компоненты (то есть билды) модели реализации. Модель тестирования может также описывать, как тестируются специфические аспекты системы (например, насколько удобен и полон интерфейс пользователя, или выполняет ли свои задачи руководство пользователя).

Артефакт: Тестовый пример

Тестовый пример определяет один путь тестирования системы, включающий в се­бя

• предмет тестирования

• вместе с исходными данными и

• результатом и

• условия тестирования

На практике предметом тестирования могут быть любые системные требования или набор требований, реализация которых возможна в хо­де тестирования и не вызывает чересчур больших затрат.

Вот образцы тестовых примеров:

Тестовый пример, определяющий порядок тестирования варианта использо­вания или некоторого сценария варианта использования. Поскольку тесто­вый пример включает в себя подтверждение результатов взаимодействия меж­ду актантами и системой, то определяются пред- и постусловия, которым ва­риант использования должен удовлетворять, и последовательность действий,

которую вариант использования должен соблюсти. Отметим, что тестовый пример, базирующийся на варианте использования, обычно определяет тест системы как черного ящика (то есть тест поведения системы, наблюдаемого извне).

Артефакт: Процедура тестирования

Процедура тестирования определяет, как запускать один или несколько тестовых примеров или их частей. Так, например, процедура тестирования может быть ин­струкцией по ручному проведению теста или спецификацией по работе со сред­ствами автоматизации тестирования, описывающей создание исполняемых тесто­вых компонентов (см. следующий подраздел).

В одной процедуре тестирования может быть описан порядок запуска одного тестового примера, но чаще одна процедура тестирования применяется для несколь­ких тестовых примеров или несколько процедур тестирования — для одного тес­тового примера (рис. 11.5).

Артефакт: Тестовый компонент

Тестовый компонент автоматизирует одну или несколько процедур тестирования или их частей

Тестовые компоненты могут разрабатываться с использованием языков сцена­риев, языков программирования или записываться при помощи утилит автомати­зации тестирования

Тестовые компоненты используются для тестирования компонентов модели реализации путем осуществления тестового ввода данных, управле­ния и отслеживания процесса выполнения тестируемых компонентов и, возмож­но, сообщения о результатах тестирования. Тестовые компоненты также иногда называют «тестовыми драйверами», «тестовой обвязкой» «сценариями тестирования».

Отметим, что тестовые компоненты могут быть реализованы с использованием объектных технологий. Если некоторые тестовые компоненты содержат сложные внутренние взаимодействия или сложным образом взаимодействуют с обычными компонентами модели реализации, для моделирования тестовых компонентов может быть создана отдельная «модель проектирования тестов» (по аналогии с моделью проектирования), описывающая верхний уровень представления ком­понентов тестирования. Несмотря на то, что эта модель применяется на практике, в этой книге она рассматриваться не будет

Артефакт: План тестирования

План тестирования описывает стратегию тестирования, выделяемые на него ре­сурсы и график работ. Стратегия тестирования включает в себя определение те­стов, проводимых на каждой из итераций, их цели, требуемый уровень покрытия тестами кода и процент тестов, которые должны выполниться с соответствующим результатом (положительным или отрицательным).

Артефакт: Дефект

Дефект — это неправильность системы, например, симптом существования ошиб­ки в системе или проблемы, обнаруженной на обзорном совещании. Мы будем ис­пользовать слово «дефект» для определения чего-то такого, что разработчики долж­ны зарегистрировать в качестве симптома наличия в системе проблемы, которую следует найти и решить.

Артефакт: Оценка теста

Оценка теста — это оценка результатов тестирования, таких, как покрытие тесто­выми примерами, покрытие тестами кода и статус дефектов.

Пример. Тестовый пример. Оплатить счет Заплатить 300-Горный велосипед.

— это оплата сче­та на сумму $300, заказа на горный велосипед.

Для того чтобы считаться законченным, тестовый пример должен определять

исходные данные,

ожидаемый результат и другие условия, относящиеся к провер­ке сценария варианта использования.

• Исходные данные:

  • Корректный заказ на горный велосипед, который был создан и послан продав­цу, фирме Безумные Горцы, Inc. Цена велосипеда по прейскуранту $300, вклю­чая доставку.

  • Подтверждение заказа на горный велосипед, которое было послано покупателю. Продавец подтвердил цену $300, включая доставку.

  • Счет (ID 12345), который был получен покупателем. Счет соответствует под­тверждению заказа на горный велосипед. Это единственный счет, имеющийся в системе. Сумма к оплате по счету $300, и счет находится в состоянии Ожида­ющий решения. В счете указан банковский счет 22-222-2222, на который сле­дует перечислить деньги. Текущий баланс этого банковского счета $963.456.00. Счет принадлежит продавцу.

  • Банковский счет покупателя 11-111-1111, его баланс $350.

• Результаты:

  • Счет переходит в состояние Закрыт (показывая, что он оплачен).

  • У банковского счета покупателя 11-111-1111 баланс изменяется и составля­ет $50.

  • У банковского счета продавца 22-222-2222 баланс вырастает до $963.756.00. Условия:

  • В ходе тестового примера никакие другие варианты использования (экземпля­ры) не имеют доступа к банковским счетам.