Липаев В.В. Программная инженерия

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

ства синхронизации тестов. Кроме того, в документе должны быть пред­ ставлены план-график тестирования и матрица трассирования тестов к требованиям спецификаций на ПС или на его компоненты, а также суб­ подрядчики, принимающие участие в тестировании, их роль и ответствен­ ность.

Большой объем разнородных данных, получаемых при испытаниях крупномасштабных ПС, и разнообразие возможных способов их обра­ ботки, интерпретации и оценки приводят к тому, что важнейшими факто­ рами становятся методики обработки и оценки результатов, а так;н€е протоколы проверки по пунктам Программы испытаний. В соответствии с методиками испытаний средства автоматизации должны обеспечивать всю полноту проверок характеристик по каждому разделу методик. Ре­ зультаты испытаний фиксируются в протоколах, которые обычно содер­ жат следующие разделы:

—назначение тестирования и раздел требований технического зада­ ния, по которому проводились испытания;

—указания разделов методик, в соответствии с которыми проводи­ лись испытания, обработка и оценка результатов;

—условия и сценарии проведения тестирования и характеристики исходных данных;

—обобщенные результаты испытаний с оценкой их на соответствие требованиям технического задания и другим руководящим документам, а также технической документации;

—описание отличий тестовой и реальной эксплуатационной сред;

—описание обнаруженных дефектов и ошибок и рекомендуемых улучшений в испытываемом ПС;

—выводы о результатах испытаний и о соответствии созданного ПС или компонента определенному разделу требований технического задания

иисходных спецификаций.

Протоколы по всей программе испытаний обобщаются в акте, в результате чего делается заключение о соответствии системы требованиям заказчика и о завершении работы с положительным или отрицательным итогом. При выполнении всех требований технического задания заказчик обязан принять комплекс программ, и работа считается завершенной.

Наиболее полным и разносторонним испытаниям должна подвергать­ ся первая базовая версия ПС. При испытаниях очередных модернизиро-

430

14.2. Организация и методы оценивания характеристик сложных комплексов программ

ванных версий ПС возможны значительные сокращения объемов тестиро­ вания апробированных повторно используемых компонентов. Однако ком­ плексные и завершающие испытания каждой новой версии ПС, как прави­ ло, проводятся в полном объеме, гарантирующем проверку выполнения всех требований модифицированного технического задания. Для выявления дефектов в процессе эксплуатации серийных образцов в каждом из них должен быть предусмотрен некоторый минимум средств для проверки функционирования и обнаружения искажений результатов. Эти средства должны позволять фиксировать условия неправильной работы программ и характер проявления дефектов при применении ПС. Последующее ис­ правление ошибок должно проводиться специалистами, осуществляющими сопровождение.

До начала квалификационных испытаний ПС подлежат проверке и паспортизации средства, обеспечивающие получение эталонных дан­ ных, средства имитации тестов от внешних объектов, средства фиксирова­ ния и обработки результатов тестирования. Завершаются квалификацион­ ные испытания ПС предъявлением заказчику на утверждение комплекта

документов, сол^ржащих результаты комплексных испытаний версии программных средств:

—откорректированные тексты программ и данных на языке програм­ мирования и в объектном коде, а также полные спецификации требований на программные компоненты и ПС в целом после полного завершения тестирования и испытаний;

—Программу испытаний ПС по всем требованиям технического за­

дания;

—комплект методик испытаний и обработки результатов по всем разделам программы испытаний;

—тесты, сценарии и генераторы тестовых данных, использованные для испытаний программных и информационных компонентов и версии ПС в целом;

—результаты и протоколы квалификационного тестирования, функ­ циональные и конструктивные характеристики ПС в реальной внешней среде;

—отчет о подтверждении заданного качества, полные характеристи­ ки достигнутого качества функционирования, а также степени покрытия тестами спецификации требований к ПС;

431

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

—план, методики и средства автоматизации обучения заказчика и пользователей применению испытанной версии ПС;

—комплект эксплуатационной документации, описание ПС и ру­ ководство пользователя в соответствии с условиями контракта;

—технические условия на версию ПС, базу данных и эксплуа­ тационную документацию для тиражирования и серийного производства;

—руководство по инсталляции, генерации пользовательской версии ПС и загрузке базы данных в соответствии с условиями и характеристиками внешней среды;

—отчет о технико-экономических показателях завершенного проек­ та версии ПС, выполнении планов и использованных ресурсах;

—акт о завершении испытаний и готовности к поставке и/или предъяв­ лению для сертификационных испытаний версии ПС.

Представленная выше организация испытаний крупных ПС ориенти­ рована на наличие конкретного заказчика комплекса программ и ограни­ ченное число пользователей, контролируемых заказчиком. Несколько иначе организуются испытания коммерческих пакетов прикладных программ, создаваемых по инициативе фирмы или коллектива разработчиков для продажи широкому кругу пользователей при отсутствии конкретного за­ казчика. Для таких коммерческих комплексов программ принято прово­ дить квалификационные испытания на соответствие критериям, формализо­ ванным руководителем проекта в два последовательных этапа — Альфа-

иБета-тестирование, Они заключаются в нормальной и форсированной (стрессовой) опытной эксплуатации конечными пользователями оформ­ ленного программного продукта в соответствии с эксплуатационной до­ кументацией и различаются количеством участвующих пользователей и уровнем их квалификации.

При Альфа-тестировании привлекаются конечные пользователи, ра­ ботающие преимущественно в той же компании, но не участвовавшие непосредственно в разработке комплекса программ. Для Бета-тестирова­ ния привлекаются добровольные пользователи (потенциальные покупате­ ли), которым бесплатно передается версия ПС для опытной эксплуатации. При этом особое значение имеет участие компетентных, заинтересован­ ных и доброжелательных пользователей, способных выявить дефекты и своими рекомендациями улучшить качество тестируемых программ. Их деятельность стимулируется бесплатным и ранним получением и освоени-

432

14.3. Средства для испытаний и определения характеристик сложных комплексов...

ем нового программного продукта и собственной оценкой его качества. Эти пользователи обязуются сообщать разработчикам сведения о всех выявленных дефектах и ошибках, а также вносить изменения в программы и данные или заменять версии исключительно по указаниям разработчи­ ков. Только после успешной эксплуатации и Бета-тестирования ограни­ ченным контингентом пользователей руководителем проекта или фирмы разработчиков может приниматься решение о передаче ПС в продажу для широкого круга пользователей. Обобщенные результаты Бета-тестирова­ ния могут использоваться как основа для сертификационных испытаний.

При Альфа- и Бета-испытаниях принято разделять прогрессивное и регрессионное тестирование. Под прогрессивным — понимается тестиро­ вание новых программных компонентов для выявления дефектов и оши­ бок в исходных текстах программ и спецификациях. Регрессионное тести­ рование предназначено для контроля качества и корректности программ и данных после проведения корректировок. Необходимость и широта ре­ грессионного тестирования определяются тем, что значительная доля из­ менений после Альфа- и Бета-тестирования, в свою очередь, содержат дефекты и ошибки. Количество тестов и длительность обоих этапов тести­ рования определяются экспертно разработчиками или руководителем про­ екта в зависимости от сложности комплекса программ и интенсивности потока изменений.

14.3.Средства для испытаний

иопределения характеристик сложных комплексов

программ

Для обеспечения высокого качества крупных комплексов программ необходимы соответствующие проблемно-ориентированные интегриро­ ванные системы автоматизации тестирования, способные достаточно полно заменить испытания программ с реальными объектами внешней среды. При этом высокая стоимость и риск испытаний с реальными объек­ тами почти всегда оправдывают значительные затраты на такие интегри­ рованные системы, если предстоят испытания критических ПС с высоки­ ми требованиями к качеству функционирования программ, с длительным жизненным циклом и множеством развивающихся версий. Инструмен-

433

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

шальные средства автоматизации процессов тестирования и испы­ таний программ должны обеспечивать:

—определение тестов — реализацию процесса тестирования разра­ ботчиком: ввод тестовых наборов; генерацию тестовых данных; ввод ожи­ даемых, эталонных результатов;

—выполнение участка тестируемой программы между контрольными точками, для которого средство тестирования может перехватить опера­ торский ввод (клавиатуры, мыши и т.д.) и для которого вводимые данные могут быть отредактированы и включены в последующие тестовые наборы;

—управление тестами и участком программы, для которого средство тестирования может автоматически выполнять тестовые наборы;

—анализ и обработку тестовых результатов — возможность средства тестирования автоматически анализировать тестовые результаты: сравне­ ние ожидаемых и реальных результатов; сравнение файлов; статистичес­ кую обработку результатов;

—анализ покрытия тестами исходного кода для обнаружения: опера­ торов, которые не были выполнены; процедур, которые не были вызваны; переменных, к которым не были обращения;

—анализ производительности программы, когда она исполняется: загрузку центрального процессора; загрузку памяти; обращения к специ­ фицированным элементам данных и/или сегментам кода; временные ха­ рактеристики функционирования испытываемой программы;

—моделирование внешней среды — поддержку процесса тестирова­ ния с помощью модели имитации данных из внешних для ПС компонен­ тов информационной системы.

При создании генераторов тестов внешней среды применяется два принципиально различающихся подхода, которые условно можно назвать интегральным и дифференциальным. При интегральном или эмпирикостатистическом подходе основой является формальное описание входной

ивыходной информации имитируемого объекта, а также функциональной связи между данными на его входе и выходе. При этом структура объекта

ипроцессы, реализующиеся при реальном функционировании его компо­ нентов, не имеют значения и не моделируются. Исходные данные и харак­ теристики для построения таких генераторов тестов получаются в натур­ ных экспериментах или при исследовании более детальных — дифферен­ циальных моделей.

434

14.3. Средства для испытаний и определения характеристик сложных комплексов...

Дифференциальные или имитационные модели генераторов тестов базируются на описаниях внутренних процессов функционирования ком­ понентов объекта моделирования, его структуры и взаимодействия со­ ставляющих. Результаты функционирования таких моделей определяются адекватностью знаний о компонентах и их характеристиках, а также об их взаимосвязях. Для этого необходимы достаточно подробные сведения о всех процессах функционирования компонентов объектов внешней среды, которые, в свою очередь, могут потребовать еще более глубокого модели­ рования их составляющих.

Вотличие от натурного эксперимента моделирование внешней среды

итестов на ЭВМ имеет большие возможности контроля как исходных данных, так и всех промежуточных и выходных результатов функциони­ рования испытываемого объекта. В реальных системах ряд компонентов иногда оказывается недоступным для контроля их состояния, так как либо невозможно поместить измерители контролируемых сигналов в реальные подсистемы, подлежащие тестированию, либо это сопряжено с изменени­ ем характеристик самого анализируемого объекта. Преимуществом моде­ лирования внешней среды на ЭВМ является также повторяемость резуль­ татов функционирования и возможность исследования большого количе­ ства вариантов и сценариев тестирования. В отличие от этого натурные эксперименты зачастую невозможно остановить на некоторой промежу­ точной фазе или повторить с абсолютно теми же исходными данными.

Программная имитация внешней среды на ЭВМ позволяет:

—проводить длительное непрерывное генерирование имитируемых данных для определения характеристик качества функционирования ПС в широком диапазоне изменения условий и параметров, что зачастую невоз­ можно при использовании реальных объектов;

—расширять диапазоны характеристик имитируемых объектов за пределы реально существующих или доступных источников данных, а также генерировать потоки информации, отражающие перспективные ха­ рактеристики создаваемых информационных систем и объектов внешней среды;

—создавать тестовые данные, соответствующие критическим или опасным ситуациям функционирования объектов внешней среды, которые невозможно или рискованно реализовать при натурных экспериментах;

435

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов...

— обеспечивать высокую повторяемость имитируемых данных при заданных условиях их генерации и возможность прекращения или приос­ тановки имитации на любых фазах моделирования внешней среды.

Одними из наиболее сложных и дорогих имитаторов внешней среды, применяемых для испытаний комплексов программ, являются модели: по­ лета космических аппаратов; диспетчерских пунктов управления воздуш­ ным движением; объектов систем противовоздушной обороны; сложных административных систем. Подобные моделирующие испытательные стен­ ды (МИС) проблемно-ориентированы и объем программ, моделирующих в них внешнюю среду, может даже значительно превышать объемы соот­ ветствующих испытываемых ПС. Для их реализации выделяются доста­ точно мощные уяивсрсдшъныс моделирующие ЭВМ (рис. 14.3). Кроме то­ го, для автоматизации разработки программ могут использоваться отдель­ ные специализированные, технологические ЭВМ, что в совокупности образует инструментальную базу для обеспечения всего ЖЦ сложных комп­ лексов программ реального времени на объектных реализующих ЭВМ.

Имитация конкретных тестов с реальными характеристиками,

адекватными объектам внешней среды, является основной частью типо­ вых моделирующих стендов. В соответствии с полной номенклатурой и реальными характеристиками объектов создаются их интегральные или дифференциальные модели. Выбор типов моделей зависит от глубины знаний об алгоритмах функционирования объектов, характеристиках их компонентов и обобщенных параметрах работы объекта в целом. Кроме того, существенным для выбора типов моделей является длительность расчета имитированных данных и обеспечение возможности проводить полную имитацию внешней среды на моделирующей ЭВМ в реальном времени с учетом затрат времени на обработку результатов.

При затруднениях реализации реального масштаба времени при име­ ющейся производительности ЭВМ следует выделять модели объектов, на которые отсутствуют воздействия обратной связи от испытываемого ПС. Для таких объектов возможно основную часть имитации производить пред­ варительно вне реального времени с регистрацией у каждого тестового сообщения значений реального времени, когда его следует выдать на об­ работку ПС. Модели объектов, результаты которых зависят от функцио­ нирования испытываемого ПС, иногда можно упрощать путем выделения алгоритма реализации обратной связи в реальном времени и дополнения

436

14.3. Средства для испытаний и определения характеристик сложных комплексов...

ЭТИМИ поправками основной части тестов, подготовленных вне реального времени.

Рис. 14.3

Трудность адекватного моделирования некоторых объектов внешней среды, особенно если при их функционировании активно участвует опера­ тор-пользователь, не позволяет сосредоточить и полностью автоматизиро­ вать для крупномасштабных ПС всю имитацию тестовых данных на моде­ лирующих ЭВМ. Поэтому при реализации интегрированных проблемноориентированных МИС для испытаний качества функционирования сложных ПС приходится использовать аналоги реальных объектов внеш­ ней среды для формирования части данных. Разумное сочетание части

АЪ1

Лекция 14. Интеграция, квалификационное тестирование и испытания комплексов.

реальных объектов внешней среды и имитаторов на ЭВМ обеспечива­ ет создание высокоэффективных МИС с комплексными моделями сово­ купностей объектов внешней среды, необходимых для испытаний каче­ ства ПС в реальном времени. Такие стенды позволяют автоматическую генерацию тестов с помощью имитаторов на ЭВМ и аналогов реальной аппаратуры дополнять реальными данными от операторов пользователей, контролирующих и корректирующих функционирование системы обра­ ботки информации.

Определение характеристик качества комплекса программ и

Документирование результатов испытаний программного продукта и системы

Рис. 14.4

438

14.3. Средства для испытаний и определения характеристик сложных комплексов...

В схеме типового МИС можно выделить ряд базовых компонентов, назначение и функции которых представлены на рис. 14.4. Для каждого эксперимента по испытаниям ПС реального времени следует подготавли­ вать план сценариев тестирования и обобщенные исходные данные. В моделирующей ЭВМ план и обобщенные исходные данные преобразуются в конкретные значения параметров для задания функционирования каждо­ го имитатора или реального объекта внешней среды. Эти данные вводятся и преобразуются на моделирующей ЭВМ вне реального масштаба време­ ни и подготавливают старт сеанса функционирования стенда и испытыва­ емого ПС в реальном времени. После этого начинают генерироваться тес­ товые данные.

Аналоги объектов внешней среды используются преимущественно для генерации тестов, представляющих коррелированные логические пе­ ременные, которые трудно описать и смоделировать на ЭВМ. Кроме того, они позволяют проверить и аттестовать некоторые программные имитато­ ры внешней среды, которые впоследствии играют основную роль при испытаниях. В ряде случаев такие аналоги не могут отразить все особен­ ности объектов внешней среды, и имитаторы на ЭВМ остаются един­ ственными источниками соответствующей части данных для проверки ка­ чества ПС.

Данные с рабочих мест операторов-пользователей должны отра­ жать реальные характеристики воздействий на тестируемое ПС с учетом особенностей и квалификации человека, которому предстоит использо­ вать испытываемые программы в реальной системе обработки информа­ ции. На эту часть МИС кроме первичных исходных данных от моделиру­ ющей ЭВМ могут вводиться данные обработки ряда тестов испытываемой системой. В результате через человека и его характеристики замыкается контур обратной связи ручного и автоматизированного управления объек­ тами внешней среды. Такое же замыкание контура автоматизированного управления возможно в аналогах и имитаторах реальных объектов. Иног­ да необходимо взаимодействие реальных операторов-пользователей и ис­ пытываемого ПС непосредственно через штатные устройства сопряжения и визуализации информационной системы. В этих случаях для обеспече­ ния испытаний приходится применять регистрацию данных, поступаю­ щих на ПС и выдаваемых программами на реальные объекты. Это дает возможность контроля и обработки тестовых данных либо на моделиру-

439