14.2. Организация и методы оценивания характеристик сложных комплексов программ

Характеристики качества функционирования программных средств зависят не только от их внутренних свойств, но и от свойств внешней среды, в которой они применяются (см. ISO 12119). Для сокращения неопределенностей и прямых ошибок при оценивании качества ПС необходимо до начала испытаний определить основные параметры внешней среды, при которых должен функционировать комплекс программ с требуемыми характеристиками при оценивании его качества и эксплуатации.

422

14.2. Организация и методы оценивания характеристик сложных комплексов программ

Для этого заказчик и разработчик совместно должны структурировать, описать и согласовать модель внешней среды и ее параметры в среднем, типовом режиме применения ПС, а также в наиболее вероятных и критических режимах, в которых должны обеспечиваться требуемые характеристики качества функционирования ПС. Такая модель должна отражать и фиксировать характеристики:

• внешних потоков информации, в том числе их распределение по видам источников, характеристикам качества данных и возможности их дефектов;

• интенсивность и структуру типовых сообщений от оперативных пользователей и администраторов и их необходимую квалификацию, отражающуюся вероятностью ошибок и качеством выдаваемой информации;

• возможных негативных и несанкционированных воздействий от внешней среды при применении ПС;

• необходимые характеристики вычислительных средств, на которых предназначено функционировать комплексу программ с требуемым качеством.

При сопоставлении результатов оценивания характеристик качества с требованиями технического задания и спецификаций разработчик или поставщик обязан удовлетворять требования заказчиков только в пределах согласованных параметров модели внешней среды. Оценивание качества ПС за этими пределами должно дополнительно согласовываться испытателями с разработчиком. При этом невыполнение требований может квалифицироваться как их расширение за пределы, ограниченные контрактом, и не учитываться при оценивании заказчиком характеристик качества ПС, или как дополнительные работы, подлежащие соответствующему финансированию со стороны заказчика, для доработки программ с целью удовлетворения этих требований.

Внутренние квалификационные испытания качества программных средств (испытания главного конструктора), которые зачастую совмещаются с завершением комплексной отладки, должны оформляться документально и являются основанием при предъявлении ПС заказчику на квалификационные испытания для завершающего оценивания характеристик качества программного продукта (см. ISO 12207, ISO 15504, ISO 16326). Разработчик должен реализовать и оценить проект, комплекс про-

423

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

грамм, тесты, результаты тестирования и документацию для пользователя, учитывая:

• полноту охвата испытаниями всех требований спецификаций к компонентам и к ПС в целом;

• согласованность с требуемыми заказчиком и ожидаемыми результатами применения ПС;

• возможность интеграции и тестирования ПС в составе системы;

• возможность функционирования и сопровождения версий ПС в соответствии с требованиями контракта.

Любые испытания ограничены допустимым количеством и объемом проверок, а также длительностью работы комиссии испытателей, поэтому не могут гарантировать абсолютную проверку качества продукта. Для повышения достоверности определения и улучшения оценивания характеристик ПС после внутренних испытаний комплекс программ целесообразно передавать некоторым пользователям на опытную эксплуатацию в типовых условиях. Это позволяет более глубоко оценить эксплуатационные характеристики созданного комплекса и устранить некоторые дефекты и ошибки. Опытную эксплуатацию целесообразно проводить разработчиками с участием испытателей-заказчиков и некоторых пользователей, назначаемых заказчиком. Результаты и характеристики качества опытной эксплуатации после испытаний главного конструктора могут учитываться при проведении заказчиком квалификационных испытаний для их сокращения.

В лекции 13 рассмотрены этапы тестирования компонентов и ПС в целом с позиции последовательного увеличения функциональной сложности тестов и взаимодействия с объектами внешней среды. При этом не учитывались организационные этапы испытаний в соответствии со стандартами и их подотчетность разработчикам-поставщикам и заказчикам. Этапы и процессы квалификационного тестирования ПС с целью формального удостоверения для заказчика достигнутых характеристик качества комплекса программ и его компонентов в составе системы регламентированы в стандартах ISO 12207, ISO 15504. В них выделены три основных, функциональных этапа реализации квалификационного тестирования и испытаний (рис. 14.2):

— квалификационное тестирование функциональных компонентов и ПС в целом вне аппаратуры системы;

424

14.2. Организация и методы оценивания характеристик сложных комплексов программ

• интеграция и тестирование программного средства в целом в составе аппаратуры системы;

• квалификационное тестирование и полные испытания системы в комплексе с программным средством.

Квалификационное тестирование программного средства I

I вне системы:

— испытания выполнения всех требований контракта и спецификаций к I I комплексу программ; I I — подготовка к интеграции комплекса программ и аппаратуры системы; I I — оценка достигнутого качества и возможности автономного применения

программного продукта по назначению

i

I Интеграция и тестирование комплекса программ в составе

I аппаратуры системы:

I — испытания интерфейсов комплекса программ на соответствие трсбова- I I ниям к системе; I

— оценка реализуемости и планирование испытаний комплекса программ

I в составе системы; I

I — анализ полноты и корректности документации на комплекс программ

Квалификационное тестирование системы с комплексом программ: I

I — установление соответствия характеристик качества системы и про-

I граммного продукта требованиям контракта и спецификаций; I I — удостоверение адекватности и качества технологической и эксплуатаци-

I онной документации на систему и программный продукт; I

— оформление акта о завершении работ и контракта на создание версии I I программного продукта и системы I

*