8.6.5 Организация испытаний в фазе оценки

На этапе оценки уровень трудозатрат группы испытаний достигает максимума. Первая обязанность группы состоит в том, чтобы установить готовность изделия к испытаниям класса B. Группа разработки нередко усваивает местнический взгляд на свою роль, планируя сжатые сроки работ перед началом испытаний класса B. В этой спешке может пострадать (и обычно страдает) качество изделия, поступающего в группу испытаний. Надлежащий контроль процедур передачи может быть обеспечен, если группа испытаний будет настаивать на том, чтобы приемочные испытания не признавались законченными до тех пор, пока не завершится успешный прогон всех приемочных тестов.

Если испытания класса B начались, то прогону подлежат все контрольные примеры, сначала в логически обоснованном порядке, а затем в любом произвольном. Необходимость изменения логической последовательности запуска возникает из-за того, что некоторые из тестов зависят от успешного выполнения какой-либо функции испытываемого изделия. Если эта функция выполняется неправильно, проведение соответствующих тестов откладывается до исправления дефектов изделия.

После первой передачи изделия испытателям редко удается с успехом выполнить все контрольные тесты. Когда число обнаруживаемых ошибок резко уменьшается, группа испытаний заканчивает прогон тестов и просит разработчиков после исправления дефектов предоставить изделия на повторное испытание. Этот период называется циклом испытаний.

Обнаруживая тот или иной дефект, испытатели доказывают факт его наличия с помощью различных материалов (консольных сообщений, распечатки текущего состояния системы, дамп и др.). При этом испытатели не имеют права самостоятельно исправлять дефект, так как в этом случае заказчику может попасть программа, «заплатанная» группой испытаний, и разработчики снимут с себя всякую ответственность.

С административной точки зрения каждый дефект, обнаруженный испытателями, рассматривается как ошибка, найденная после выпуска изделия для пользования. Эти дефекты нумеруются в порядке, зависящем от степени серьезности, и фиксируются в перечне дефектов. Этот перечень отправляется в группу разработки для принятия мер по устранению дефектов. Иногда (по усмотрению группы испытаний) эти исправления могут быть внесены сразу в данном цикле испытаний. Однако это применяется крайне редко из-за увеличения трудоемкости работы группы испытаний.

Испытаниям класса B подвергаются как программные средства, так и соответствующая документация. Между этими объектами испытаний не должно быть расхождений, они вместе должны соответствовать соглашению о требованиях. Каждый цикл испытаний завершается составлением краткого отчета о результатах проверки изделия в данном цикле.

Иногда группа поддержки настойчиво требует передать изделие в ограниченное пользование (обычно это бывает тогда, когда график выпуска резко нарушается.) В этом случае выпуск называется предварительным. Предварительные выпуски сопровождаются документами, предупреждающими пользователей о возможных затруднениях. Группа испытаний дополняет эти материалы уведомлением об обнаруженных дефектах (перечень не­устра­нен­ных дефектов).

На этапе окончания испытаний класса B руководство может принять решение об испытаниях в условиях пользователя (полевые испытания). Для них также готовится предварительный выпуск изделия. Группа испытаний проводит эти испытания на вычислительном центре пользователя, составляя перечень обнаруженных дефектов.

Наконец, наступает момент, когда группа испытаний рекомендует выпуск изделия (либо как-то иначе определяет его судьбу). Если группа испытаний приходит к выводу, что продолжение испытаний не приведет к принятию решения о выпуске, она собирает представителей всех групп, участвующих в фазовом обзоре V, чтобы согласовать дальнейшие действия. Во всех других случаях группа испытаний самостоятельно принимает решение о выпуске изделия (с дефектами или без).

Решение о выпуске изделия принимает руководитель группы испытаний на основе ответов сотрудников группы на следующие вопросы:

• Всеми ли имеющимися тестами испытано изделие?

• Можно ли отнести большинство неисправленных ошибок к разряду малозначительных?

• Не помогут ли дальнейшие испытания выявить серьезные ошибки?

• Уменьшались ли число и степень серьезности ошибок по мере перехода от одного цикла испытаний к другому?

• Является ли характер обнаруженных серьезных ошибок таким, что их влияние можно устранить, сделав соответствующее пояснение в информационном листке выпуска?

• Имеют ли группы разработки и выпуска документации обоснованные планы устранения всех обнаруженных ошибок в фазе использования?

Если ответы положительные, то изделия можно рекомендовать к выпуску. Санкционируя выпуск, группа испытаний подводит итоги испытаний класса B как в количественном, так и в качественном отношении, прилагая статистические данные о количестве дефектов и сведения о фактически ожидаемых эксплуатационных характеристиках — отчет испытаний класса B. Он является главным объектом обсуждения в фазовом обзоре V.