4.1 Необходимые условия для тестирования

4.1.1 Наличие компонентов продукта

4.1.2 Наличие компонентов системы

4.1.3 Обучение

Работа по тестированию

Должны быть протестированы описание продукта, документация пользователя, программы и все данные, поступаемые с ней, различные режимы работы программ, которые указаны в описании продукта. При наличии нескольких вариантов программы должны быть протестированы все из них, все программы должны быть снабжены контрольными примерами. Сами примеры и данные должны быть задокументированны.

Установка (инсталляция)

Если в соответствии с описанием продукта установка может быть выполнена пользователем, то должна быть протестирована возможность успешной установки, согласно описанию. Выполнение программ: контрольные примеры должны охватывать все функции, приведённые в описании продукта.

Протоколы тестирования (к ним предъявляются требования):

1. каждый тест должен содержать информацию, достаточную для его повторения

- план тестирования, контрольные примеры (с указанием цели каждого примера)

- все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста

- штат персонала, привлечённого к процессу тестирования

2. отчёт о тестировании

В этом отчёте должны быть суммированы цели и результаты тестирования, отчёт должен иметь структуру:

- обозначение продукта

- технические и программные средства, задействованные в тестировании

- используемые документы

- результаты тестирования

- перечень выявленных несоответствий

- дата окончания тестирования

10

БИЛЕТ №21

Стандарт IEEE 1209-1992. Общие требования к средствам автоматизации тестирования программного средства.

В последнее время широко используются средства автоматизации тестирования, разработан стандарт IEEE 1209, в котором сформулированы требования к автоматизации системы, к ним относятся:

- генерация тестовых данных

- выполнение участка тестируемой программы

- регрессионное тестирование

- анализ тестовых результатов (сравнение полученных результатов и эталонных)

- автоматический анализ покрытия тестами исходного кода, что позволяет выявить участки программы, неохваченные процедурой тестирования.

- анализ производительности испытуемой программы, реальная загрузка памяти и процессора

- моделирование среды

требования к средствам обеспечения испытаний на надёжность:

- все данные должны подаваться на систему в реальном масштабе времени

- диапазон изменения входных данных должен перекрыть характеристики реальных объектов

- должна быть обеспечена регистрация и контроль всех искажений и аномалий, поступающих на испытуемое ПО

- для всех тестовых данных должны быть подготовлены эталонные реакции, с которыми сравниваются результаты испытаний

- автоматическое документирование процесса тестирования

- генерация тестов и имитация внешней среды

- отключение и подключение средств встроенного контроля

- тестирование достигнутое значения надёжность базовых версий ПП

- тестирование корректности ресурсов памяти, а также производительности вычислительной системы

- тестирования параллельного исполнения программ

- тестирование эффективности защиты от искажений исходных данных

- тестирование для оценки эффективности защиты от сбоев аппаратуры и не выявленных дефектов

- тестирование удобства эксплуатации и взаимодействия человека

- тестирование качества подготовки различных версий, включая базовые и резервные версии, поскольку ни одни тесты не могут выявить всех имеющихся ошибок, то оценка тестирования производится по показателю (эффективность-стоимость)

В качестве стоимость рассматриваются совокупные затраты на приобретение и эксплуатацию средств автоматизации тестирования, а также на разработку необходимых тестов.

БИЛЕТ №22

Функциональное, регрессионное, нагрузочное и стрессовое тестирование.

Выводы: По результатам теоретического процесса исследования следует сделать следующие выводы: следует использовать виды тестирования: функциональное- тестирование возможности системы, её реакция на те или иные ситуации, в этом случаи результат тестирования сравнивается с заведомо заданным прототипом испытаний.

Регрессионное тестирование – проверка полноты реализуемых функций по сравнению с предыдущей версией программного продукта.

Нагрузочное – тестирование системы на пиковую нагрузку, делается вывод о производительности системы, в частности выясняется время ввода одного документа, с опроса (ответа на 1 вопрос) и т.д. На основе нагрузочного тестирования формулируется требования к аппаратной части.

Контроль после выполнения- этот вид тестирования подразумевает проверку уже исправленных ошибок.

Стрессовое тестирование – реакция системы на внештатные ситуации, например, восстановление системы после отключения питания ( на сервере базы данных). Адаптационное тестирование – проверка корректности перевода программного продукта на другой национальный язык.

БИЛЕТ №23

Организация и этапы тестирования при испытаниях надежности сложных программных средств.

Организация и этапы тестирования при испытаниях надёжности сложных программных средств

При тестировании и отладки выделяются этапы:

- отладка автономных групп программы, без взаимодействия с другими компонентами

- тестирование и отладка с учётом взаимодействия с другими компонентами

- тестирование и отладка программ в реальном масштабе времени ( по данным моделирующего стенда или генератора тестов, по данным имитатора внешней среды с реальной работы операторов пользователей)

На всех стадиях отладки выделяют 2 группы работ:

- работа по методическому обеспечению тестирования и по созданию средств автоматизированной генерации тестов

- непосредственная реализация процесса тестирования, автоматизация сравнения с эталонными результатами

Обычно испытания проводятся в следующих категориях:

- испытания главного конструктора, которые являются завершающей в предварительных испытаниях подготовленного продукта

- опытная эксплуатация в типовых условиях (проводится разработчиками с привлечением представителей заказчиков)

- совместные приёмы сдаточных испытаний ( проводится комиссией заказчика, приглашёнными являются разработчики и главный конструктор; при испытании комиссия руководствуется следующими документами:

- утверждённым и согласованным техническим заданиям

- действующими государственными и ведомственными стандартами

- программы испытаниями, которая должна быть изложена в техническом задании)

- методики испытании

- комплект документации

Программа испытаний должна содержать следующие разделы:

- обозначение объектов испытаний

- цель испытаний ( с указанием требований технического задания)

- программы испытаний ( план тестирования и формализованные требования)

- методика испытаний

- методика обработки и оценки результатов тестирования

- протоколы, в которые заносятся все результаты тестирования

Протокол должен содержать:

- назначение тестирования, с указанием требований технического задания

- с указанием методик

- описание условий проведения теста, включая описание исходных данных

- обобщённые результаты испытаний, их оценка на соответствие требований технического задания

- выводы по результатам испытания

Методическая достоверность приёма сдаточных испытаний определяется:

- полнота программных испытаний

- корректность методик тестирования в области изменения исходных данных

- достоверность и точность эталонных данных

- адекватности использования моделей

- точности и коррекции результатов обработки