5.4. Организация и средства для оценивания качества комплексов программ

5.4.1. Модель внешней среды

Характеристики качества функционирования ПС зависят не только от их внутренних свойств, но и от свойств среды, в которой они применяются (ISO 12119). Для сокращения неопределенностей и прямых ошибок при оценивании качества ПС необходимо до начала испытаний определить основные параметры внешней среды, при которых должен функционировать комплекс программ с требуемыми характеристиками при оценивании его качества. Для этого заказчик и разработчик совместно должны структурировать и описать модель внешней среды и ее параметры в среднем типовом режиме применения ПС, а также в наиболее вероятных или критических режимах. Такая модель должна фиксировать характеристики:

• внешних потоков информации, в том числе их распределение по видам источников и возможности дефектов;

• интенсивность и структуру типовых сообщений от пользователей и их необходимую квалификацию;

• возможных негативных и несанкционированных воздействий от внешней среды при применении ПС;

• вычислительных средств, на которых предназначено функционировать ПС с требуемым качеством.

При сопоставлении результатов оценивания характеристик качества с требованиями ТЗ разработчик или поставщик обязан удовлетворять требования только в пределах согласованных параметров модели внешней среды. Оценивание качества ПС за этими пределами должно дополнительно согласовываться испытателями с разработчиком. При этом невыполнение требований может квалифицироваться как их расширение за пределы контракта и не учитываться при оценивании заказчиком характеристик качества ПС.

5.4.2. Испытания программного продукта

Внутренние квалификационные испытания качества ПС (испытания главного конструктора), которые зачастую совмещаются с завершением комплексной отладки, должны оформляться документально. Они являются основанием для предъявления ПС заказчику на квалификационные испытания для завершающего оценивания характеристик качества программного продукта (ISO/IEC 12207, ISO 16326).

Любые испытания ограничены допустимым количеством и объемом проверок, а также длительностью работы комиссии испытателей, поэтому не могут гарантировать абсолютную проверку качества программного продукта. Для повышения достоверности определения и улучшения оценивания характеристик ПС после внутренних испытаний программы целесообразно передавать некоторым пользователям на опытную эксплуатацию в типовых условиях. Это позволяет более глубоко оценить эксплуатационные характеристики созданного комплекса и устранить некоторые дефекты и ошибки. Опытную эксплуатацию целесообразно проводить разработчиками с участием испытателей и некоторых пользователей, назначаемых заказчиком.

Оценивание качества программного продукта при квалификационных приемо-сдаточных испытаниях проводятся аттестованной сертификационной лабораторией или комиссией заказчика, в которой участвует руководитель (главный конструктор) разработки и некоторые ведущие разработчики (ISO 10006:1997, ГОСТ 34.603–92).

Комиссия при испытаниях должна руководствоваться следующими документами:

• утвержденными заказчиком и согласованными с разработчиком контрактом, ТЗ и спецификациями требований на ПС;

• действующими государственными и ведомственными стандартами на ЖЦ и испытания программ, на технологическую и эксплуатационную документацию, а также согласованными для использования с заказчиком стандартами де-факто;

• программой испытаний по всем требованиям контракта, ТЗ и спецификаций;

• методиками испытаний, охватывающими каждый раздел требований ТЗ и спецификаций;

• комплектом эксплуатационной документации на комплекс программ.

Программа испытаний является планом проведения серии экспериментов и должна разрабатываться с позиции минимизации объема тестирования в процессе проведения испытаний для оценивания выполнения требований ТЗ и соответствия предъявленной документации (см. п.5.3).

Программа испытаний, методики их проведения и оценки результатов, разработанные совместно заказчиком и разработчиком, должны быть согласованы и утверждены. Они должны содержать уточнения и детализацию требований ТЗ для данного ПС, гарантировать корректную проверку всех заданных характеристик качества.

Программа испытаний должна содержать следующие четко сформулированные разделы:

• объект испытаний, его назначение и перечень основных документов, определивших его разработку;

• цель испытаний с указанием всех требований контракта, ТЗ и характеристик ПС, подлежащих оцениванию, и ограничений на проведение испытаний;

• собственно программу испытаний, содержащую проверку комплектности и характеристик ПС на соответствие ТЗ, и план тестирования для оценивания по всем разделам ТЗ;

• методики испытаний, однозначно определяющие все понятия проверяемых характеристик, исходные данные, условия и сценарии тестирования, аппаратные и программные средства, используемые для оценивания;

• методики обработки, оценивания и обобщения результатов тестирования по каждому разделу программы испытаний.

Большой объем разнородных данных, получаемых при испытаниях крупномасштабных ПС, и разнообразие возможных способов их обработки, интерпретации и оценивания приводят к тому, что важнейшими факторами достоверного оценивания качества становятся методики обработки и оценки результатов, а также протоколы проверки по пунктам программы испытаний.

В соответствии с методиками испытаний средства автоматизации должны обеспечивать полноту и необходимую достоверность проверок характеристик по каждому разделу методик. Результаты испытаний фиксируются в протоколах (ISO 12119:1994), которые обычно содержат следующие разделы:

• идентификация тестируемого ПС или компонента;

• назначение тестирования и раздел требований ТЗ, по которому проводились испытания;

• использованные исходные документы;

• указания методик, в соответствии с которыми проводились испытания, обработка и оценивание результатов;

• план, условия и сценарии тестирования и характеристики исходных данных;

• обобщенные результаты испытаний с оценкой полученных характеристик, их соответствия требованиям ТЗ и другим руководящим документам, а также технической документации;

• перечень и содержание несоответствий результатов требованиям и документам;

• выводы о результатах испытаний и соответствии характеристик созданного ПС определенному разделу ТЗ и эксплуатационной документации.

Протоколы по всей программе испытаний обобщаются в акте, в результате чего делается заключение о степени соответствия ПС требованиям заказчика и о завершении работы с положительным или отрицательным итогом.

Наиболее полным и разносторонним испытаниям должны подвергаться первая базовая версия ПС. При испытаниях очередных модернизированных версий ПС возможны сокращения объемов тестирования повторно используемых компонентов. Однако комплексные и завершающие испытания каждой новой версии ПС проводятся в полном объеме, гарантирующем проверку выполнения всех требований измененного ТЗ.

Для возможности выявления дефектов в процессе эксплуатации серийных образцов ПС в каждом из них должен быть предусмотрен некоторый минимум средств проверки функционирования и автоматического обнаружения искажений результатов. Этот минимум средств должен позволять фиксировать условия неправильной работы программ и характер проявления дефектов.

При завершающих приемо-сдаточных испытаниях основное внимание, кроме проверок функциональной пригодности, должно сосредоточиваться на подготовке стрессовых тестов, на тестировании в режимах предельного использования ресурсов, на оценивании надежности функционирования ПС (ISO 14756). Задача испытателей и заказчика состоит в выделении условий состояния внешней среды и областей изменения переменных, которые недостаточно проверены разработчиком и важны для последующего функционирования и применения программ. При этом разработчик контролирует, чтобы планируемые сценарии и тесты не выходили за границы областей, заданных ТЗ и спецификацией требований.

До начала испытаний подлежат проверке и паспортизации средства, обеспечивающие получение эталонных данных, средства имитации тестов от внешних объектов, средства фиксирования и обработки результатов тестирования.

Методическая достоверность приемо-сдаточных испытаний и оценивания характеристик качества ПС определяется следующими факторами:

• полнотой программы испытаний и корректностью методик тестирования по охвату возможных условий и сценариев функционирования программ и областей изменения исходных данных;

• достоверностью и точностью эталонных значений характеристик, с которыми сравниваются результаты тестирования испытываемой программы;

• адекватностью и точностью моделей, используемых для имитации тестов от внешней среды;

• точностью и корректностью регистрации и обработки результатов тестирования, сравнения полученных характеристик с требованиями ТЗ.