Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Лекции / Технология программирования / konspekt_lekciy_standartizaciya_i_sertifikaciya_pr.pdf
Скачиваний:
245
Добавлен:
13.06.2014
Размер:
682.12 Кб
Скачать

18

и 34.ХХХ).

Ко второму направлению относятся работы по аутентичному переводу на русский язык стандартов серии ISO/IEC и принятие этих переводов в качестве национальных стандартов со статусом СТБ ИСО/МЭК (Стандарт Беларуси ИСО/МЭК) или ГОСТ Р ИСО/МЭК (Государственный стандарт России) с сохранением того же номера.

2.3. ПРОФИЛИ СТАНДАРТОВ

При создании сложных тиражируемых ПС целесообразно формирование и применение совокупностей стандартов и нормативных документов. Такие совокупности должны адаптироваться к классам проектов и процессов.

Профиль стандартов – это совокупность нескольких базовых стандартов и/или других нормативных документов с четко определенными и гармонизированными подмножествами обязательных и дополнительных возможностей, предназначенная для реализации заданной функции или группы функций. Исходной для формирования и применения профиля стандартов системы (ПС) или процесса является их функциональная характеристика (набор функций). На базе одной и той же совокупности стандартов могут формироваться различные профили для разных проектов ПС (за счет, например, различных выбранных значений параметров стандарта или различных выбранных положений стандарта) [4].

В международной стандартизации ПО принято, что основой профиля могут быть только международные и национальные утвержденные стандарты (не допускается использование неутвержденных стандартов и нормативных документов фирм). В качестве методологической основы построения и применения профилей сложных, распределенных систем рекомендуется использовать технический отчет ISO/IEC TR 10000. В этом стандарте определена эталонная модель среды открытых систем (OSE/RM). Она определяет разделение любой информационной среды на приложения (прикладные программные комплексы) и среду, в которой эти приложения функционируют. Между приложениями и средой определяются стандартизированные интерфейсы (Application Program Interface – API). Эти интерфейсы являются необходимой частью профилей любой открытой системы. Кроме того, в профилях ИС могут быть определены унифицированные интерфейсы взаимодействия прикладных программ (функциональных частей) между собой и интерфейсы взаимодействия между компонентами среды ИС. Спецификации выполняемых функций и интерфейсов взаимодействия могут быть оформлены как профиль каждого компонента системы.

Различают следующие категории профилей стандартов:

профили конкретного ПС; действуют в пределах проекта и являются частью проектной документации;

19

профили для решения некоторого класса прикладных задач; распространяются на все ПС данного класса, утверждаются как стандарты предприятий, ведомственные или государственные стандарты.

В ЖЦ ПС выделяется две группы профилей:

профили, регламентирующие архитектуру и структуру ПС и их компонентов (функции, интерфейсы, протоколы взаимодействия, форматы данных и т.п.);

профили, регламентирующие процессы и системы обеспечения качества проектирования, разработки, применения, сопровождения и

развития ПС и их компонентов.

Качество ИС тесно связано с методами и технологией их разработки. Поэтому важной группой документов в профилях являются стандарты, связанные с непосредственным обеспечением и системой качества ЖЦ ПС.

2.4.ПРОФИЛЬ СИСТЕМЫ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

Система качества – совокупность организационных структур, методик, технологий и ресурсов, необходимых для осуществления общего руководства качеством. Она должна быть составной частью системы управления организации и должна создавать у руководства организации и у потребителя (заказчика) уверенность в том, что ПС будет соответствовать установленным требованиям к его качеству.

Профиль системы качества предприятия или проекта зависит от профиля ЖЦ ПС. Профиль ЖЦ ПС определяет этапы создания, сопровождения и развития ПС, все основные и поддерживающие процессы, выполняемые на протяжении ЖЦ (в том числе и процессы системы качества).

В связи с возрастающей ролью качества сложных ПС следует выделять профиль системы обеспечения качества ПС конкретного предприятия или проекта, регламентирующий требования к качеству и меры по его обеспечению

(рис.3) [4].

Стандарты, важные с точки зрения заказчика, должны задаваться в техническом задании (ТЗ) и контракте на проектирование ПС и составлять его первичный профиль. В дальнейшем разработчик может дополнять первичный профиль, согласовывая его с заказчиком.

При формировании профилей стандартов, обеспечивающих качество ЖЦ конкретных ПС допустимо использовать как международные и национальные стандарты, так и ведомственные нормативные документы, и неутвержденные стандарты (де-факто).

20

Показатели качества ПС – ISO 9126

Жизненный цикл ПС – ISO 12207

Административное управление и обеспечение качества ПС –

ISO 9000-3

Руководство по обеспечению качества – ISO 10013

Программа обеспечения качества – ISO 10005

Руководство по управлению конфигурацией –

ISO 10007, ISO 15846

Руководство по проверке (сертификации) систем качества –

ISO 10011

Стандарты по защите и обеспечению безопасности применения ПС

Стандарты по документированию ПС

Методические руководства по выполнению основных этапов ЖЦ ПС

Рабочие инструкции конкретным исполнителям этапов ЖЦ ПС

Рабочие инструкции специалистам системы обеспечения качества ПС

Рис.3. Профиль стандартов, обеспечивающих качество ЖЦ ПС

21

ТЕМА 3. СТАНДАРТИЗАЦИЯ КАЧЕСТВА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

ВРЕСПУБЛИКЕ БЕЛАРУСЬ

3.1.ОБЩИЕ СВЕДЕНИЯ О СТАНДАРТАХ В ОБЛАСТИ ОЦЕНКИ КАЧЕСТВА, ДЕЙСТВУЮЩИХ НА ТЕРРИТОРИИ РБ

Внастоящее время в области обеспечения качества ПО на территории Республики Беларусь действуют следующие основные стандарты: ГОСТ 28806-90 – Качество программных средств. Термины и определения; ГОСТ 28195-99 – Оценка качества программных средств. Общие положения; СТБ ИСО/МЭК 9126-2003 – Информационные технологии. Оценка программной продукции. Характеристики качества и руководства по их применению [8, 7, 12].

Стандарт СТБ ИСО/МЭК 9126-2003 представляет собой аутентичный перевод международного стандарта ISO/IEC 9126:91[28]. Данный стандарт под номером ГОСТ Р ИСО/МЭК 9126-93 действует на территории России с 1994

года [10].

Обеспечение качества неразрывно связано с жизненным циклом ПС. ЖЦ ПС регламентирован стандартом СТБ ИСО/МЭК 12207-2003 – Процессы жизненного цикла программных средств [11].

При именовании стандартов используются следующие обозначения:

вначале записывается категория стандарта (СТБ – стандарт Беларуси, ГОСТ Р – государственный стандарт России, ГОСТ – межгосударственный стандарт для ряда стран СНГ, до распада СССР аббревиатура ГОСТ обозначала государственный стандарт СССР);

если стандарт разработан методом прямого применения (является аутентичным переводом) международного стандарта, то за категорией стандарта следует обозначение категории данного международного стандарта (в русском именовании); например, СТБ ИСО/МЭК и ГОСТ Р ИСО/МЭК – это аутентичные переводы международного стандарта ISO/IEC;

затем следует номер стандарта; при этом, если стандарт разработан методом прямого применения, то его номер совпадает с номером международного стандарта; например, СТБ ИСО/МЭК 9126, ГОСТ Р ИСО/МЭК 9126, ISO/IEC 9126;

после номера стандарта через дефис записывается год его утверждения СТБ ИСО/МЭК 9126-2003, ГОСТ Р ИСО/МЭК 9126-93.

Обозначения международных стандартов описаны в разд. 4.

Встандарте ГОСТ 28806-90 регламентируются основные термины и

22

определения, принятые в области обеспечения качества ПО. Данные термины приведены в подразд. 1.1.

Стандарт ГОСТ 28195-99 определяет оценку качества программного средства как совокупность операций, включающих выбор номенклатуры характеристик качества оцениваемого программного средства, определение значений этих характеристик и сравнение их с базовыми значениями. Оценка качества должна проводиться применительно ко всем работам ЖЦ ПС при:

1)планировании характеристик качества ПС;

2)контроле качества в процессе разработки;

3)проверке эффективности модификации ПС в процессе сопровождения.

Основные задачи, решаемые при оценке качества программного средства:

1)планирование номенклатуры характеристик и показателей качества;

2)планирование уровня качества;

3)выбор методов контроля показателей качества;

4)контроль значений показателей качества в процессе жизненного цикла

ПС;

5)выбор базовых образов по подклассам и группам;

6)принятие решения о соответствии реальных значений показателей качества установленным требованиям.

3.2.КЛАССИФИКАЦИЯ МЕТОДОВ ОПРЕДЕЛЕНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПРОГРАММНОГО СРЕДСТВА

ГОСТ 28195-99 классифицирует методы определения показателей качества ПС, исходя из следующих факторов:

по способам получения информации о показателе качества:

а) измерительный; б) регистрационный; в) органолептический; г) расчетный;

по источникам получения информации о показателе качества:

а) экспертный; б) социологический; в) традиционный.

Измерительный метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС путем измерений с помощью инструментальных средств (например, так может определяться количество операторов в программе, количество выполненных операторов, количество операндов, время выполнения программы при определенных наборах исходных данных и т.д.).

Регистрационный метод определения показателей качества ПС – это

23

метод получения информации о свойствах и характеристиках ПС во время его испытания или функционирования, когда регистрируются определенные события (например, количество сбоев и отказов).

Органолептический метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС, основанный на восприятии органов чувств (зрения и слуха) человека. Так может определяться, например, удобство использования.

Расчетный метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС, основанный на использовании эмпирических и теоретических зависимостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС. Так может определяться, например, точность вычислений.

Экспертный метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС на основании мнений группы экспертов-специалистов, компетентных в решении данной задачи на базе их опыта и интуиции. Экспертный метод применяется, когда невозможно или слишком трудоемко выполнить оценку показателей качества с помощью других методов. С помощью данного метода рекомендуется определять, например, показатели понимаемости и осваиваемости ПС.

Социологический метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС на основании обработки специальных анкет-опросников. Так могут определяться, например, отдельные показатели удобства использования. Социологический метод определен в предыдущей версии ГОСТ 28195-99 (ГОСТ 28195-89 [6]).

Традиционный метод определения показателей качества ПС – это метод получения информации о свойствах и характеристиках ПС на основании непосредственного наблюдения за их функционированием в процессе работы. Так могут определяться, например, некоторые из показателей функциональности и удобства использования.

3.3.ИЕРАРХИЧЕСКАЯ МОДЕЛЬ ОЦЕНКИ КАЧЕСТВА ПРОГРАММНОГО СРЕДСТВА

Стандарты ГОСТ 28806-90, ГОСТ 28195-99, СТБ ИСО/МЭК 9126-2003

регламентируют выполнение оценки качества ПС и систем на основе

иерархической модели качества. В соответствии с данной моделью совокупность свойств, отражающих качество программного средства, представляется в виде многоуровневой структуры. Характеристики на первом (верхнем) уровне соответствуют основным свойствам ПС. Характеристики (подхарактеристики) каждого уровня оцениваются посредством характеристик (подхарактеристик) последующих уровней.

Стандарты ГОСТ 28806-90, СТБ ИСО/МЭК 9126-2003 определяют первые

24

два уровня иерархической модели качества. При этом номенклатура характеристик первого уровня является обязательной, а номенклатура характеристик второго уровня (подхарактеристик) – рекомендуемой.

Стандарт ГОСТ 28195-99 определяет четырехуровневую иерархическую модель оценки качества ПС. Номенклатура характеристик и подхарактеристик первых двух уровней является обязательной, а номенклатура подхарактеристик третьего и четвертого уровней – рекомендуемой.

Вышеназванные стандарты определяют шесть основных характеристик качества ПС, находящихся на верхнем уровне модели качества. Следует отметить, что характеристики верхнего уровня, регламентированные в ГОСТ 28806-90 и СТБ ИСО/МЭК 9126-2003, соответствуют принятым в настоящее время в мировой практике. В то же время характеристики и подхарактеристики, определенные в ГОСТ 28195-99, частично не соответствуют иерархической модели качества, принятой в международных стандартах.

В стандартах ГОСТ 28806-90 и СТБ ИСО/МЭК 9126-2003 определены следующие основные характеристики качества программных средств

(характеристики качества первого уровня; в скобках приведены англоязычные эквиваленты терминов):

1.Функциональность (Functionality). Совокупность свойств программного средства, определяемая наличием и конкретными особенностями набора функций, способных удовлетворять заданные или подразумеваемые потребности.

2.Надежность (Reliability). Совокупность свойств, характеризующая способность программного средства сохранять заданный уровень пригодности

взаданных условиях в течение заданного интервала времени.

3.Удобство использования (практичность, Usability). Совокупность свойств программного средства, характеризующая усилия, необходимые для его использования, и индивидуальную оценку результатов его использования заданным или подразумеваемым кругом пользователей.

4.Эффективность (Efficiency). Совокупность свойств программного средства, характеризующая те аспекты его уровня пригодности, которые связаны с характером и временем использования ресурсов, необходимых при заданных условиях функционирования.

5.Сопровождаемость (Maintainability). Совокупность свойств программного средства, характеризующая усилия, которые необходимы для его модификации.

6.Мобильность (Portability). Совокупность свойств программного средства, характеризующая приспособленность для переноса из одной среды функционирования в другие.

25

3.4.ЭКОНОМИЧЕСКИЙ МЕТОД ИНТЕГРАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

Существуют различные методы интегральной оценки качества программных средств. Данные методы позволяют получить итоговую интегральную величину качества ПС в целом или его отдельных характеристик, выраженную в некоторых количественных единицах.

Вданном и следующем подразделах рассмотрено два метода интегральной оценки качества программных средств.

Экономический метод интегральной оценки качества ПС относится к группе расчетных методов (см. подразд. 3.2).

Всоответствии с данным методом формулируется количественный критерий качества ПС, ориентированный на весь его жизненный цикл длиной Т. В качестве такого критерия предлагается минимизация суммарных затрат живого и овеществленного труда на разработку, эксплуатацию и сопровождение ПС.

Данные затраты складываются из следующих компонентов.

К1 – единовременные (в течение ЖЦ ПС) затраты Z на разработку ПС:

К1=Z.

К2 – единовременные затраты W на внедрение ПС:

K2 = W.

К3 – систематические затраты S на эксплуатацию ПС, регулярно повторяющиеся в течение жизненного цикла T через период времени :

К3 = (Т/tэ) * S.

К4 – спорадические (повторяющиеся через случайные промежутки времени) затраты на сопровождение, которые составляют в среднем n-ую часть от затрат Z и m-ую часть от затрат W и осуществляются в течение жизненного цикла T в среднем через периоды времени :

К4 = (n*Z+ m*W)*Т/tс.

К5 – случайные потери из-за недостоверности или несвоевременности результата:

К5 = Sп *Т/tэ.

Здесь Sп – средняя сумма потерь, приходящаяся на однократную эксплуатацию ПС в течение его ЖЦ.

Итоговая формула оптимизации качества ПС в течение его ЖЦ выглядит следующим образом:

Z + W + (Sп + S) * Т/tэ + (n*Z + m*W) * Т/tс→min.

Критерием качества ПС служит степень близости фактического значения вышеприведенного выражения к его минимуму.

26

Основным недостатком данного метода является то, что компоненты К1 - К5 не могут служить основой построения системы управления качеством ПС в процессе его разработки с целью достижения заданного уровня качества.

3.5.МЕТОД ОЦЕНКИ КАЧЕСТВА, ОСНОВАННЫЙ НА ИЕРАРХИЧЕСКОЙ МОДЕЛИ

Стандартом ГОСТ 28195-99 рекомендован метод интегральной оценки качества ПС, основанный на иерархической модели качества.

Всоответствии с данным методом выбор номенклатуры показателей качества для конкретного программного средства осуществляется с учетом его назначения и требований областей применения в зависимости от принадлежности ПС к тому или иному подклассу, определяемому

общесоюзным классификатором продукции (ОКП).

ВОКП предусмотрены следующие подклассы ПС:

5011 – операционные системы и средства их расширения;

5012 – программные средства управления базами данных;

5013 – инструментально-технологические

средства

программирования;

 

5014 – ПС интерфейса и управления коммуникациями;

5015 – ПС организации вычислительного процесса (планирования, контроля);

5016 – сервисные программы;

5017 – ПС обслуживания вычислительной техники;

503 – прикладные программы для научных исследований;

504 – прикладные программы для проектирования;

505 – прикладные программы для управления техническими устройствами и технологическими процессами;

506 – прикладные программы для решения экономических задач;

509 – прочие ПС.

Оценка качества ПС производится на всех фазах жизненного цикла. Стандарт ГОСТ 28195-99 базируется на следующих процессах и фазах

жизненного цикла ПС:

1Процесс разработки:

фаза анализа;

фаза проектирования;

фаза реализации;

фаза тестирования;

фаза изготовления.

2Процесс применения:

фаза внедрения;

фаза эксплуатации;

27

фаза сопровождения.

Понятие фазы жизненного цикла (ЖЦ), используемое в описываемом методе, в настоящее время является устаревшим. Современная интерпретация жизненного цикла ПС, регламентированная стандартом СТБ ИСО/МЭК 122072003 [11], представляет ЖЦ ПС в виде совокупности процессов, работ и задач, организованных в иерархическую структуру. Подробное описание ЖЦ ПС приведено в подразд.6.2.

Из вышеприведенного перечня фаз следует, что устаревшее понятие фазы ЖЦ для процесса разработки наиболее близко по смыслу современному понятию работы ЖЦ (и, по сути, представляет собой одну или объединение нескольких работ), а для процесса применения – понятиям работы и процесса. В этой связи рекомендованный стандартом ГОСТ 28195-99 метод интегральной оценки качества ПС после соответствующей адаптации может применяться и при современной интерпретации ЖЦ ПС.

Оценка качества ПС заключается в выборе номенклатуры показателей, их оценке и сопоставлении с базовыми значениями.

Основу описываемого метода оценки качества составляет

четырехуровневая иерархическая модель качества. ГОСТ 28195-99 предлагает свою терминологию для показателей качества каждого уровня:

уровень 1 - факторы качества (в терминологии, принятой в современных международных стандартах, соответствуют характеристикам качества [28, 10, 12, 24]);

уровень 2 - критерии качества (в современной терминологии – подхарактеристики качества);

уровень 3 - метрики (соответствует современной терминологии); уровень 4 - оценочные элементы или единичные показатели (в

современной терминологии – свойства или атрибуты ПС).

Для каждой из выбранных характеристик качества составляется четырехуровневая иерархическая модель, отражающая взаимосвязь факторов, критериев, метрик и оценочных элементов. Вид данной модели зависит от фазы ЖЦ.

В качестве примера на рис.4 – рис.6 приведены три верхних уровня иерархической модели характеристики Надежность для различных фаз ЖЦ. Номера на данных рисунках соответствуют номерам метрик характеристики Надежность.

Выбор оценочных элементов в метрике зависит от функционального назначения ПС и формируется с учетом данных, ранее полученных при проведении испытаний ПС и эксплуатации аналогичных программ. Для выбора оценочных элементов ГОСТ 28195-99 предлагает перечень таблиц, содержащих наименование элемента, метод оценки и применяемость элемента для различных подклассов ПС.

28

Фактор

 

Критерий

 

Метрика

 

 

 

 

 

 

 

 

1

Средства

Надежность

 

Устойчивость

восстановления при

 

 

функционирования

 

ошибках на входе

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

Средства

 

 

 

восстановления при

 

 

 

 

сбоях оборудования

 

 

 

 

 

Рис.4. Модель надежности для фазы анализа

Фактор

 

Критерий

Метрика

 

 

 

1

 

 

 

 

Средства

Надежность

 

Устойчивость

 

восстановления при

 

 

функционирования

 

ошибках на входе

 

 

 

 

 

 

 

 

 

 

 

2

 

 

Средства

 

 

 

 

восстановления при

 

 

 

 

сбоях оборудования

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Реализация управления

 

3

средствами

 

 

 

 

восстановления.

 

 

 

 

 

Рис.5. Модель надежности для фазы проектирования

Фактор Критерий

1

Надежность Устойчивость функционирования

2

Работоспособность

3

4

5

29

Метрика

Средства восстановления при ошибках на входе

Средства восстановления при сбоях оборудования

Реализация управления средствами восстановления

Функционирование в заданных режимах

Обеспечение обработки заданного объема информации

Рис.6. Модель надежности для фаз реализации, тестирования, изготовления и сопровождения

Таблица 1 содержит пример перечня оценочных элементов для характеристики Надежность. В данной таблице код оценочного элемента состоит из пяти символов. Первый символ (буква) указывает на принадлежность элемента характеристике (приняты следующие обозначения характеристик: Н – Надежность; С – Сопровождаемость; У – Удобство использования; Э – Эффективность; Г – Универсальность; К – Функциональность). Два следующих символа – номер метрики, которой принадлежит оценочный элемент (для характеристики Надежность см. рис.4 – рис.6). 4-й и 5-й символы – порядковый номер данного оценочного элемента в метрике.

30

Таблица 1. Оценочные элементы фактора Надежность

Код

Наименование

Метод

Оценка

элемента

оценки

 

 

Н0101

Наличие требований к

Экспертный

0 – 1

 

программе по устойчивости

 

 

 

функционирования при

 

 

 

наличии ошибок во входных

 

 

 

данных

 

 

Н0102

Возможность обработки

Экспертный

0 – 1

 

ошибочных ситуаций

 

 

Н0103

Полнота обработки ошибочных

Экспертный

0 – 1

 

ситуаций

 

 

Н0104

Наличие тестов для проверки

Экспертный

0 – 1

 

допустимых значений входных

 

 

 

данных

 

 

Н0105

Наличие системы контроля

Экспертный

0 – 1

 

полноты входных данных

 

 

Н0106

Наличие средств контроля

Экспертный

0 – 1

 

корректности входных данных

 

 

Н0107

Наличие средств контроля

Экспертный

0 – 1

 

непротиворечивости входных

 

 

 

данных

 

 

Н0108

Наличие проверки параметров и

Экспертный

0 – 1

 

адресов по диапазону их

 

 

 

значений

 

 

Н0109

Наличие обработки граничных

Экспертный

0 – 1

 

результатов

 

 

Н0110

Наличие обработки

Экспертный

0 – 1

 

неопределенностей

 

 

Н0201

Наличие требований к

Экспертный

0 – 1

 

программе по восстановлению

 

 

 

процесса выполнения в случае

 

 

 

сбоя операционной системы,

 

 

 

процессора, внешних устройств.

 

 

Н0202

Наличие требований к

Экспертный

0 – 1

 

программе по восстановлению

 

 

 

результатов при отказах

 

 

 

процессора, операционной

 

 

 

системы

 

 

Н0203

Наличие средств

Экспертный

0 – 1

 

восстановления процесса в

 

 

31

Код

Наименование

Метод

Оценка

элемента

оценки

 

 

 

случае сбоев оборудования

 

 

Н0204

Наличие возможности

Экспертный

0 – 1

 

разделения по времени

 

 

 

выполнения отдельных функций

 

 

 

программ

 

 

Н0205

Наличие возможности

Экспертный

0 – 1

 

повторного старта с точки

 

 

 

останова

 

 

Н0301

Наличие централизованного

Экспертный

0 – 1

 

управления процессами,

 

 

 

конкурирующими из-за

 

 

 

ресурсов

 

 

Н0302

Наличие возможности

Экспертный

0 – 1

 

автоматически обходить

 

 

 

ошибочные ситуации в

 

 

 

процессе вычисления

 

 

Н0303

Наличие средств,

Экспертный

0 – 1

 

обеспечивающих завершение

 

 

 

процесса решения в случаях

 

 

 

помех

 

 

Н0304

Наличие средств,

Экспертный

0 – 1

 

обеспечивающих выполнение

 

 

 

программы в сокращенном

 

 

 

объеме в случае ошибок или

 

 

 

помех

 

 

Н0305

Показатель устойчивости к

Регистраци-

P(Y)=1 - D/k,

 

искажающим воздействиям

онный

где D - число

 

P(Y)

+

экспериментов, в

 

 

Расчетный

которых искажающие

 

 

 

воздействия приводят

 

 

 

к отказу;

 

 

 

К - число

 

 

 

экспериментов, в

 

 

 

которых имитируются

 

 

 

искажающие

 

 

 

воздействия;

 

 

 

Y – вид искажающего

 

 

 

воздействия.

Н0401

Вероятность безотказной

Регистраци-

P=1 - Q/N,

 

работы Р

онный

где N - число

 

 

+

экспериментов;

32

Код

Наименование

Метод

 

Оценка

элемента

оценки

 

 

 

 

 

 

Расчетный

Q - число

 

 

 

зарегистрированных

 

 

 

отказов.

Н0501

Оценка по среднему времени

Измеритель-

 

1, если

 

восстановления Q

ный

Q=

Тв<=Твдоп;

 

 

+

Твдоп / Тв, если

 

 

Расчетный

 

Тввдоп,

 

 

 

где Твдоп

 

 

 

допустимое среднее

 

 

 

время восстановления;

 

 

 

Тв – среднее время

 

 

 

восстановления:

 

 

 

Тв=1/N*∑Твi,

 

 

 

i = 1, 2, ..., N;

 

 

 

N – число

 

 

 

восстановлений;

 

 

 

Твi – время

 

 

 

восстановления после

 

 

 

i-го отказа.

Н0502

Оценка по продолжительности

Измеритель-

 

1, если

 

преобразования входного

ный

Qпi=

Тпi<=Тпiдоп;

 

набора данных в выходной Qпi

+

Тпiдоппi, если

 

 

Расчетный

 

Тпiпiдоп,

 

 

 

где Тпiдоп

 

 

 

допустимое время

 

 

 

преобразования i-го

 

 

 

входного набора

 

 

 

данных;

 

 

 

Тпi – фактическая

 

 

 

продолжительность

 

 

 

преобразования i-го

 

 

 

входного набора

 

 

 

данных.

Оценка качества программного средства проводится в следующей

последовательности:

1.На фазе анализа проводится выбор показателей и их базовых значений.

2.Для показателей качества на всех уровнях принимается единая шкала оценки (от 0 до 1).

3.В процессе оценки качества на каждом уровне (кроме уровня оценочных элементов) проводится вычисление двух величин:

33

абсолютного показателя качества Pij;

относительного показателя качества Kij,

где j – порядковый номер показателя данного уровня для i-того показателя вышестоящего уровня.

Относительный показатель качества Kij является функцией показателя Pij и его базового значения и определяется по формуле

K ij =

Pij

.

 

 

Pijб

Стандарт ГОСТ 28195-99 содержит таблицу, содержащую базовые значения для характеристик качества второго уровня (критериев). Данные значения определяются подклассом ПС в соответствии с ОКП.

Базовые значения для показателей остальных уровней (1-го и 3-го) формируются методом экспертного опроса с учетом назначения ПС или на основании показателей существующих аналогов или расчетного эталонного ПС.

4. Каждый показатель качества второго и третьего уровней характеризуется двумя параметрами:

количественным значением.

весовым коэффициентом Vij.

Сумма весовых коэффициентов показателей некоторого уровня, относящихся к показателю вышестоящего уровня, постоянна и равна 1.

Стандарт ГОСТ 28195-99 содержит таблицы, содержащие перечни весовых коэффициентов для характеристик второго и третьего уровней (критериев и метрик). Количественные величины весовых коэффициентов зависят от фазы ЖЦ ПС и подкласса ПС в соответствии с ОКП.

Сумма весовых коэффициентов показателей некоторого уровня, относящихся к показателю вышестоящего уровня, постоянна и равна 1.

5. Определение усредненной оценки mkq оценочного элемента по нескольким его значениям mэ осуществляется по следующей формуле

(формула для вычисления значений показателей качества 4-го уровня):

t mэ

mkq =

э=1

,

t

 

 

где

q – порядковый номер оценочного элемента; t – число значений оценочного элемента;

э – номер значения оценочного элемента; k – порядковый номер метрики.

34

6. Итоговая оценка k-той метрики j-того критерия определяется по формуле (формула для вычисления значений показателей качества 3-го уровня):

Q mkq

PjkM =

q=1

,

Q

 

 

где

Q – число оценочных элементов в k-той метрике; М – признак метрики.

7. Абсолютные показатели j-го критерия i-го фактора определяются по формуле (формула для вычисления значений показателей качества 2-го уровня):

Pijk = n (PijM × VjkM ), k =1

где

n – число метрик, относящихся к j-му критерию; К – признак критерия.

8. Относительные значения j-го критерия i-го фактора по отношению к базовому значению определяются по формуле:

P k

K k = ij , ij Pijk б

9. Абсолютные и относительные значения i-го фактора качества определяются по формулам (формулы для вычисления значений показателей качества 1-го уровня):

PiФ = N (Pijk ×Vijk ),

j=1

KiФ = N (Kijk ×Vijk ), i=1

где

N – число критериев качества, относящихся к i-тому фактору; Ф – признак фактора.

35

10.Общая оценка качества в целом формируется экспертами по набору полученных значений факторов качества.

11.Значения базовых показателей ПС должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень.

Достоинства метода оценки качества, основанного на иерархической модели:

1.Метод позволяет накапливать статический материал о состоянии различных классов ПС в отношении значений метрик и оценочных элементов. Это создает предпосылки для определения их нормативных (базовых) значений по классам ПС и может служить основой для деятельности по стандартизации в области ПО.

2.Списки значений метрик и оценочных элементов могут явиться основой для деятельности по управлению качеством в процессе разработки ПС.

3.Возможно создание инструментальных средств с целью автоматизации оценки качества ПС для тех показателей, которые такую оценку допускают.

36

ТЕМА 4. СТАНДАРТИЗАЦИЯ В ОБЛАСТИ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ ЗА РУБЕЖОМ

4.1.СТАНДАРТЫ СЕРИИ ISO В ОБЛАСТИ ОЦЕНКИ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

Основной международной организацией, занимающейся деятельностью по стандартизации, является Международная организация по стандартизации ИСО (the International Organization for Standardization, кратко называемая еще International Standards Organization, ISO). Стандарты, принимаемые данной организацией, получают аббревиатуру ISO и имеют ранг международных стандартов.

Области электротехники, электроники, радиосвязи, приборостроения не входят в компетенцию ISO. Стандартизацией в данных областях занимается Международная электротехническая комиссия МЭК (the International Electrotechnical Commission, IEC).

Вобласти стандартизации информационных технологий ISO и IEC объединили свою деятельность, создав объединенный технический комитет 1 (Joint Technical Committee 1, JTC1).

Вэтой связи международные стандарты в области информационных технологий, разрабатываемые в JTC1, имеют обозначение ISO/IEC (ИСО/МЭК).

Втечение десяти лет (с 1991г. по 2001г.) основой регламентирования характеристик качества ПС за рубежом являлся международный стандарт ISO/IEC 9126:1991 – Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению [28].

Впоследние годы данный стандарт активно развивался в направлении уточнения, детализации и расширения номенклатуры характеристик качества ПС.

Внастоящее время ISO/IEC 9126:1991 заменен на две взаимосвязанные серии стандартов: ISO/IEC 9126-1-4 – Информационная технология. Качество программных средств и ISO/IEC 14598-1-6:1998-2000 – Оценивание программного продукта [24, 25, 26, 27, 18].

Стандарт ISO/IEC 9126-1-4 состоит из 4-х частей. Часть 1 (ISO/IEC 9126- 1:2001) издана в 2001г. Части 2 – 4 пока представлены в виде проектов (по состоянию на 2002г.). Названия частей:

Часть 1: Модель качества. Часть 2: Внешние метрики. Часть 3: Внутренние метрики.

Часть 4: Метрики качества в использовании.

37

Стандарт ISO/IEC 9126-1:2001 по существу является пересмотренной редакцией ISO/IEC 9126:1991. В нем сохранена та же номенклатура характеристик качества ПС. Однако в отличие от ISO/IEC 9126:1991 подхарактеристики второго уровня стали нормативными, а не информационными (рекомендуемыми), как это было раньше, определена новая модель качества и исключен процесс оценивания качества (он теперь содержится в ISO/IEC 14598-1-6).

Назначение модели, описанной в части 1:

1)проверка полноты определения требований в техническом задании;

2)идентификация требований к ПС;

3)идентификация целей проекта ПС;

4)идентификация целей испытаний ПС;

5)идентификация критериев приемки пользователем и сертификации

ПС.

В стандарте ISO/IEC 9126-1:2001 описана иерархическая модель оценки качества ПС. В соответствии с моделью общее качество разделяется на шесть базовых характеристик. Данные характеристики находятся на верхнем уровне иерархического дерева. Характеристики разделяются на подхарактеристики. Подхарактеристики определяются метриками. На нижнем уровне иерархии находятся атрибуты (свойства) ПС. Эта иерархия не строгая. Некоторые атрибуты могут быть связаны с несколькими подхарактеристиками.

Существуют следующие виды метрик:

внутренние метрики;

внешние метрики;

метрики качества в использовании.

Внутренние метрики используются в ходе проектирования и программирования к неисполняемым компонентам ПС (например, к исходному тексту программы или спецификациям). Цель внутренних метрик – обеспечение возможности достижения требуемого внешнего качества. С этой целью в ходе разработки оцениваются промежуточные продукты. Основой для внутренних метрик являются, например, свойства исходного текста программы, управляющего графа программы, потока данных, изменения состояний памяти, атрибуты документации [1].

Внешние метрики используют меры ПС, выведенные из поведения системы, частью которой они являются, путем испытаний, эксплуатации или наблюдения исполняемого ПС или системы. Для обеспечения требуемого качества внешние метрики должны планироваться и прогнозироваться.

Последовательность действий по планированию и прогнозу значений внешних метрик [4, 2]:

1)определить требования к качеству ПС;

2)перечислить характеристики и подхарактеристики, которые составляют полный набор показателей качества;

3)определить подходящие внешние метрики и их приемлемые диапазоны

38

значений;

4)установить количественные и качественные критерии, подтверждающие удовлетворительность свойств ПС;

5)определить и специфицировать внутренние атрибуты качества, обеспечивающие требуемые внешние характеристики качества;

6)специфицировать подходящие внутренние метрики и приемлемые диапазоны для получения числовых значений или категорий внутренних характеристик качества, используемых для оценки промежуточных продуктов.

Метрики качества в использовании измеряют, в какой степени продукт удовлетворяет потребности конкретных пользователей в достижении заданных целей с результативностью, продуктивностью и удовлетворением в заданном контексте использования. Результативность подразумевает точность и полноту достижения определенных целей пользователями при применении ПС. Продуктивность соответствует соотношению израсходованных ресурсов и результативности при эксплуатации ПС. Удовлетворенность – психологическое отношение к качеству использования продукта.

Качество в использовании определяет объединенный эффект от всех характеристик качества ПС для пользователя. Качество в использовании – это восприятие пользователем качества системы, содержащей ПС. Оно измеряется

втерминах результатов использования комплекса программ, а не собственных внутренних свойств ПС.

4.2.МОДЕЛЬ ВНЕШНЕГО И ВНУТРЕННЕГО КАЧЕСТВА ПС

Как уже отмечалось, стандарт ISO/IEC 9126-1:2001 регламентирует иерархические модели оценки внутреннего и внешнего качества ПС. Данные модели различаются в зависимости от представления качества в ЖЦ ПС (см. подразд.1.2).

На рис.7 приведены два верхних уровня модели оценки внутреннего и внешнего качества.

На верхнем уровне модели находится шесть основных характеристик качества. Это функциональность, надежность, практичность, эффективность, сопровождаемость и мобильность.

Подхарактеристики, находящиеся на втором уровне, также стандартизированы. Они могут измеряться внутренними или внешними метриками. Кроме того, имеются и чисто внешние метрики и метрики в использовании.

39

 

 

 

Характеристика

 

 

Подхарактеристика

 

 

 

 

 

 

 

 

 

 

 

1.

Пригодность

 

 

 

 

 

2.

Правильность

 

 

 

Функциональность

 

3. Способность к взаимодействию

 

 

 

 

 

4.

Защищенность

 

 

 

 

 

 

 

 

 

5.

Согласованность функциональности

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Завершенность

 

 

 

 

 

2.

Отказоустойчивость

 

 

 

Надежность

 

 

 

 

3.

Восстанавливаемость

 

 

 

 

 

 

 

 

 

 

4.

Согласованность надежности

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.Времяемкость

 

 

 

Эффективность

 

 

 

 

 

2. Используемость ресурсов

Внешнее и

 

 

 

 

 

 

 

3. Согласованность эффективности

 

 

 

 

внутреннее

 

 

 

 

 

 

 

 

 

 

 

 

качество

 

 

 

 

 

 

 

 

 

 

 

1.

Понятность

 

 

 

 

 

 

 

 

 

2.

Изучаемость

 

 

 

Практичность

 

3. Простота использования

 

 

 

 

 

 

 

 

 

4.

Привлекательность

 

 

 

 

 

 

 

 

 

5.

Согласованность практичности

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Анализируемость

 

 

 

 

 

2.

Изменяемость

 

 

 

Сопровождаемость

 

3. Стабильность

 

 

 

 

 

 

 

 

 

4.

Тестируемость

 

 

 

 

 

 

 

 

 

5.

Согласованность сопровожаемости

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Адаптируемость

 

 

 

 

 

2.

Настраиваемость

 

 

 

Мобильность

 

3. Совместимость

 

 

 

 

 

 

 

 

 

4.

Замещаемость

 

 

 

 

 

 

 

 

 

5.

Согласованность мобильности

 

 

 

 

 

 

 

Рис.7. Модель внешнего и внутреннего качества