7.9. Интегральное оценивание характеристик качества
В данной главе рассмотрены методы преимущественно независимого оценивания отдельных характеристик и атрибутов качества ПС. Внимание было сосредоточено на определении значений показателей качества готового ПС и проверке его соответствия заданным требованиям. Каждая характеристика и атрибут анализировались независимо от других. Это может использоваться в качестве исходных данных для их сопоставления с характеристиками аналогичных ПС или для представления как составляющей вектора в многомерном пространстве стандартизированных атрибутов характеристик качества.
Обычно заказчик и разработчики устанавливают требования к каждой характеристике качества без учета относительных затрат на их достижение, без анализа их совместного влияния на полную функциональную пригодность. Это может приводить к значительным перекосам и несбалансированным значениям отдельных характеристик качества, на которые нерационально используются ограниченные ресурсы проектирования ПС. В проектах сложных ПС это угрожает повышением стоимости и/или снижением конкурентоспособности создаваемого программного продукта из-за недостаточного уровня отдельных показателей качества.
Атрибуты качества имеют различные меры и шкалы. Вследствие этого они в большинстве своем не сопоставимы между собой. Они предварительно выбираются и согласовываются с заказчиком при последовательном почти независимом анализе каждого атрибута качества в соответствии с их мерами и шкалами для последующего использования в контракте и ТЗ (рис.7.2). При этом не всегда учитываются ресурсы, необходимые для их реализации в конкретном ПС. Для интегральных оценок качества ПС необходим учет относительного влияния каждого атрибута на функциональную пригодность.
Рис.7.2. Этапы интегрального оценивания характеристик качества ПС
Д
ля
целенаправленного эффективного
управления качеством ПС при проектировании
желательно иметь механизм объединения
разнородных характеристик в некоторый
интегральный скалярный показатель,
отражающий их совокупное влияние на
функциональную пригодность конкретного
ПС. Таким образом, при выборе характеристик
качества выявилась проблема анализа
системной эффективности ПС и обобщения
его характеристик, а также оценивания
совместного влияния различных
характеристик и атрибутов качества на
функциональную пригодность ПС с учетом
затрат на их реализацию.
Определение отдельных характеристик качества программного продукта может быть в значительной степени объективным даже при их экспертном анализе. Однако оценивание важности или приоритета каждой характеристики или ее атрибута для компонента или проекта ПС в целом более субъективный процесс, который зависит от мнений экспертов и потребителей. Для сопоставительного оценивания выбранных атрибутов качества целесообразно каждому из них присваивать коэффициент или приоритет влияния на функциональную пригодность. Эти приоритеты могут формироваться:
неформализованно, интуитивно специалистами из среды заказчика и/или потенциальных пользователей с 2–4 уровнями приоритета;
полуформально группой специальных экспертов путем анализа и оценивания влияния каждой характеристики или атрибута качества на назначение и выполнение основных функций программным продуктом;
формализованным экспертным оцениванием и детальным установлением влияния каждого атрибута качества на функциональную пригодность с учетом относительных затрат на реализацию соответствующего атрибута.
В последнем случае группа квалифицированных экспертов из состава заказчика, потенциальных пользователей и разработчиков должны оценивать и устанавливать значения таких коэффициентов (приоритетов) для каждого атрибута качества конкретного проекта ПС в пределах унифицированной шкалы, например, от 0 до 1. Точность определения коэффициентов вряд ли может превышать 10%, поэтому количество градаций шкалы может не превышать 10.
Аналогично по такой же шкале экспертами следует оценивать относительные затраты ресурсов, которые целесообразно выделять на реализацию выбранных значений атрибутов качества.
Для каждого атрибута качества отношение коэффициента влияния на функциональную пригодность к относительным затратам на его достижение можно рассматривать как уровень приоритета требований к этому атрибуту качества для конкретного потребителя. Этот показатель наглядно отражает взаимосвязь требуемых значений атрибутов качества и затрат на их реализацию в конкретном проекте ПС.
Набор значений уровней приоритетов для выбранных атрибутов качества конкретного проекта ПС полезно делить на три группы:
доминирующие характеристики или атрибуты, оказывающие наибольшее влияние на функциональную пригодность при допустимых затратах;
показатели, имеющие достаточное влияние на функциональную пригодность и значительные затраты на реализацию;
характеристики качества, выбранные требования к которым не соответствуют их влиянию и затратам на реализацию.
Эти данные могут использоваться для выбора и исключения из требований атрибутов с особенно низкими приоритетами, которые в наименьшей степени влияют на функциональную пригодность ПС и не оправдывают больших затрат на реализацию (рис.7.2). Анализ оставшихся атрибутов качества может проводиться для выделения завышенных требований, а также, возможно, для снижения их значений и приближения их влияния к средним значениям.
Сумму откорректированных уровней приоритетов атрибутов качества с учетом затрат можно использовать как обобщенную скалярную характеристику для сравнения качества при выборе из конкурирующих проектов ПС при одинаковом или подобном содержании функциональной пригодности.
Для такого сравнения в зависимости от содержания проекта и характеристик качества ПС может также использоваться отношение суммы экспертных оценок, коэффициентов влияния атрибутов качества к сумме затрат на эти атрибуты. Это отношение и/или сумма приоритетов в некоторой степени отражают дополнительный полезный эффект от реализованного качества ПС при соответствующих затратах и могут рассматриваться как интегральный критерий качество/затраты. Этот интегральный критерий близок к традиционному понятию критерия качества продукции по показателю эффективность/стоимость.
Такие интегральные оценки нецелесообразно помещать в контракт и ТЗ вследствие их субъективности и относительности. Однако они могут быть полезными ориентирами при системном анализе и управлении проектированием сложных ПС в условиях ограниченных ресурсов.
Оценки ПС по этому критерию целесообразно использовать для уточнения и корректировки конкретных значений при выборе атрибутов качества, которые затем помещаются в требования ТЗ (рис.7.2). Тем самым можно минимизировать затраты или максимизировать обобщенное качество и достигнуть некоторого баланса между рациональными значениями атрибутов качества по их влиянию на функциональную пригодность.