3.5.4. Программа испытаний комплекса программ:

• в перечень конкретных проверок (решаемых задач), которые следует осуществлять при испытаниях для подтверждения выполнения требований технического задания, спецификаций и нормативной документации, со ссылками на соответствующие разделы методик испытаний;

• объект испытаний (компонент или комплекс программ), его назначение и перечень основных документов, определивших его разработку;

• цель испытаний с указанием всех спецификаций требований, технического задания и характеристик качества ПС, подлежащих проверке;

• ограничения на проведение испытаний (экономические, технологические, временные, ресурсы специалистов);

• этапы жизненного цикла, на которых должно проводиться тестирование компонентов или ПС в целом;

• собственно Программа испытаний комплекса программ:

  • перечень конкретных проверок, которые следует осуществлятi при испытаниях для подтверждения выполнения требований спецификаций, технического задания и нормативной документации, со ссылками на соответствующие разделы методик испытаний;

  • план тестирования для последовательной проверки по всем разделам технического задания и дополнительным требованиям спецификаций, формализованным отдельными решениями разработчиков и заказчика;

  • сценарии проверок ПС соответствия техническому заданию и оценки степени выполнения требований функционального назначения системы и комплекса программ;

  • оценка комплектности, достаточности состава и качества документации на комплекс программ;

  • определение потребности в количестве и квалификации пользователей и обслуживающего персонала;

• основы методик испытаний, однозначно определяющие:

  • содержание проверяемых характеристик;

  • условия и сценарии тестирования функциональных компонентов и комплекса программ;

  • инструментальные средства, используемые для автоматизации

  • испытаний;

  • содержание методик обработки и оценки результатов квалификационного тестирования по каждому разделу Программы испытаний.

3.5.5. Методики проведения испытаний комплекса программ по отдельным характеристикам качества:

• объект испытаний — полное наименование комплекса программ, обозначение и комплектность испытываемого функционального компонента или ПС в целом;

• цель испытаний — конкретные цели и задачи, которые должны быть достигнуты и решены в процессах испытаний;

• общие положения методов испытаний:

  • перечень руководящих документов, на основании которых проводят испытания;

  • место, внешняя среда и продолжительность испытаний;

  • идентификаторы организаций, участвующих в испытаниях;

  • перечень математических и комплексных моделей, применяемых для имитации внешней среды и оценки характеристик ПС;

  • перечень и результаты ранее проведенных испытаний;

  • перечень предъявляемых на испытания комплектов документов, откорректированных по результатам ранее проведенных испытаний;

• размеры испытаний по разделам Программы:

  • перечень этапов тестирования, испытаний и оценок;

  • количественные и качественные характеристики комплекса программ, подлежащие измерению и оценке;

  • последовательность проведения этапов тестирования и режимы испытаний;

  • перечень работ, проводимых после формального завершения испытаний и требования к ним;

  • объем, методики и порядок обработки результатов испытаний;

• условия и порядок проведения испытаний:

• условия начала и завершения отдельных этапов испытаний функциональных компонентов и комплекса программ;

• имеющиеся ограничения в условиях проведения этапов испытаний;

• требования к техническому обслуживанию системы в процессе испытаний;

• необходимые меры, обеспечивающие безопасность и безаварийность проведения испытаний системы и ПС;

• порядок взаимодействия и ответственность организаций и подразделений, участвующих в испытаниях за корректность и безопасность;

• конкретное распределение функциональных задач и обязанностей организаций, участвующих в испытаниях за результаты;

• требования к квалификации персонала, проводящего испытания, и порядок его допуска к испытаниям;

• материально-техническое и стендовое обеспечение испытаний комплекса программ;

• метрологическое обеспечение корректности испытаний с распределением задач и ответственности организаций и специалистов, участвующих в испытаниях, за выполнение соответствующих этапов, мероприятий и оценку характеристик комплекса программ;

• отчетность и документирование результатов испытаний:

• перечень отчетных документов, которые должны оформляться в процессе испытаний и по их завершению;

• перечень организаций разрабатывающих, согласующих и утверждающих конкретные отчетные документы;

• сроки оформления и утверждения отчетных документов испытаний;

• форма и содержание акта и итогового отчета о результатах испытаний;

• акт содержания технического состояния ПС и системы после испытаний.