3.4.10. Оценка реализации комплексирования функциональных компонентов комплексов программ (п. 3.4.9):

• удостоверение качества функционирования компонентов в соответствии с спецификациями требований, а также в критических ситуациях по условиям и логике решения задач (стрессовое тестирование) для испытаний исполнения функциональных компонентов в нештатных ситуациях;

• определение корректности использования ресурсов памяти и производительности вычислительной системы при оценке качества и безопасности исполнения функциональных компонентов при ограниченности ресурсов ЭВМ;

• оценка эффективность защиты функционального компонента от искажений исходных данных для выявления дефектов, проявляющихся при ложных или искаженных входных данных;

• оценки эффективности защиты от сбоев аппаратуры и не выявленных ошибок программ и данных для проверки качества средств контроля и оперативного восстановления (рестарта) при различных, непреднамеренных искажениях функционирования компонентов ПС;

• измерение достигнутых значений надежности и безопасности базовых версий функциональных компонентов ПС и определение основных характеристик качества комплекса программ;

• оценка удобства эксплуатации и взаимодействия оператора пользователя с комплексом программ для обнаружения дефектов представления и отображения исходных и результирующих данных;

• оценка удобства и качества инсталляции и подготовки пользовательских версий комплекса программ для выявления дефектов методов и средств адаптации функциональных компонентов базовых версий к параметрам среды и конкретным условиям применения у пользователей;

• оценка возможности и качества функционирования компонентов базовых версий комплекса программ, при реконфигурациях оборудования для обнаружения дефектов, проявляющихся при изменении состава или характеристик компонентов аппаратуры вычислительной системы или внешней среды;

• оценка готовности функциональных компонентов комплекса программ к сопровождению и развитию версий путем настройки базовых версий на условия конкретного применения у пользователей, анализ удобства модифицирования и корректировки версий ПС;

• контроль полноты и корректности документации, обнаружение и устранение ошибок несоответствия функциональных компонентов реального комплекса программы в ЭВМ, сопровождающей его технологической и эксплуатационной документации.

3.5. Документы квалификационного тестирования, испытаний и оценивания качества программных средств

3.5.1. Методика генерации тестов имитирующих внешнюю среду и обработку результатов квалификационного тестирования:

• выбор и установление статуса испытания ПС и соответствующих тестов:

  • ординарные испытания, которым подвергается широкий спектр ПС с относительно невысокими требованиями к качеству, которые предстоит эксплуатировать в не критических системах;

  • аттестационные испытания, которым подвергаются ответственные категории ПС, чьи ошибки могут нанести большой ущерб;

  • сертификационные испытания критических ПС, эксплуатация которых недопустима без высоких гарантий качества, удостоверяемых уполномоченным государственным или ведомственным органом;

• имитация конкретных тестов с реальными характеристиками, адекватными объектам внешней среды, с учетом:

• статуса испытаний;

• глубины знаний об алгоритмах функционирования объектов внешней среды;

• характеристик компонентов внешней среды;

• выбор средств имитации внешней среды, обеспечивающих реальный масштаб времени при тестировании и включающих:

• аналоги объектов внешней среды для генерации тестов, представляющих коррелированные логические переменные, которые трудно описать и смоделировать на ЭВМ;

• данные с рабочих мест операторов-пользователей с учетом особенностей и квалификации человека, которому предстоит использовать испытываемые программы в реальной системе обработки информации;

• данные натурных экспериментов с объектами внешней среды отражающие характеристики и динамику функционирования объектов, которые трудно или опасно подключать для непосредственного взаимодействия с недостаточно проверенным ПС и для аттестации адекватности имитаторов некоторых объектов внешней среды;

• имитацию эталонных характеристик объектов внешней среды в идеальных условиях — при отсутствии искажений исходных данных, ошибок в измерениях их параметров, сбоев и предумышленных отказов;

• математическое моделирование внешней среды — поддержка процесса тестирования с помощью имитации данных из внешних для ПС компонентов системы, что позволяет:

  • проводить длительное непрерывное генерирование имитируемых данных для определения характеристик качества функционирования ПС в широком диапазоне изменения условий и параметров, что зачастую невозможно при использовании реальных объектов;

  • расширять диапазоны характеристик имитируемых объектов за пределы реально существующих или доступных источников данных, а также генерировать потоки информации, отражающие перспективные характеристики создаваемых информационных систем и объектов внешней среды;

  • создавать тестовые данные, соответствующие критическим или опасным ситуациям функционирования объектов внешней среды, которые невозможно или рискованно реализовать при натурных экспериментах;

  • обеспечивать высокую повторяемость имитируемых данных при заданных условиях их генерации и возможность прекращения или приостановки имитации на любых фазах моделирования внешней среды;

• регистрация характеристик тестовых данных на соответствие заданным обобщенным характеристикам каждого объекта внешней еды и исходным данным сеанса испытаний:

• данные, характеризующие исходную для испытаний тестовую информацию;

• выходные эталонные результаты тестирования;

• маршруты исполнения программных компонентов и их операторы при некоторых фиксированных тестовых данных;

• аномальные события, сбои, отказы и данные, характеризующиеся отклонением результатов тестирования от эталонов за допустимые пределы и ограничения;

• характеристики превышения допустимого использования различных ресурсов объектной ЭВМ;

• результаты оперативной обработки итогов испытаний тестируемого комплекса реального времени, по упрощенным алгоритмам с большой пропускной способностью, обеспечивающим сохранение реального масштаба времени для испытываемого ПС;

• результаты обобщающей обработки накопленных результатов испытаний вне реального времени после завершения одного или серии испытаний характеристик качества функционирования ПС.