10. Методы оценки качества программного обеспечения

Стандартизация характеристик качества

Для определения адекватности качества функционирования, наличия технических возможностей программных средств к взаимодействию, совершенствованию и развитию необходимо использовать стандарты в области оценки характеристик их качества. Основой регламентирования показателей качества программных средств ранее являлся международный стандарт ISO 9126:1991 (ГОСТ Р ИСО / МЭК 9126-93) "Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению".

Проект состоит из следующих частей под общим заголовком "Информационная технология - характеристики и метрики качества программного обеспечения":

• "Часть 1. Характеристики и субхарактеристики качества"

• "Часть 2. Внешние метрики качества"

• "Часть 3. Внутренние метрики качества"

• "Часть 4. Метрики качества в использовании".

В части стандарта ISO 9126-1 даются определения с уточнениями из остальных его частей для каждой характеристики программного средства, а также для субхарактеристик качества.

Вторая и третья части стандарта - ISO 9126-2 и ISO 9126-3 - посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных программных средств. Все таблицы содержат унифицированную рубрикацию, где отражены имя и назначение метрики; метод ее применения; способ измерения, тип шкалы метрики; тип измеряемой величины; исходные данные для измерения и сравнения; а также этапы жизненного цикла программного средства (по ISO 12207), к которым применима метрика.

Четвертая часть стандарта - ISO 9126-4 - предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества программных средств. В ней обосновываются и комментируются выделенные показатели сферы (контекста) использования программных средств и группы выбранных метрик для пользователей.

Модель качества ПП:

В нутреннее качество - совокупность характеристик ПП "изнутри". Компоненты качества ПП могут быть усовершенствованы в процессе кодирования, анализа и тестирования.

Внешнее качество - это совокупность характеристик ПП с внешней точки зрения. Это качество проявляется в процессе тестирования в моделируемой среде на условных данных.

Качество при использовании - это качество с точки зрения пользователя для реальной среды и условий эксплуатации ПП.

Внутреннее и внешнее качество:

Функциональность (functionality) - это способность ПП обеспечивать выполнение функций, удовлетворяющих заданным и подразумеваемым потребностям при использовании согласно установленным условиям функционирования.

Подхарактеристики функциональности:

• Пригодность (suitability) - способность ПП обеспечивать выполнение утвержденного множества функций для установленных задач и пользовательских целей.

• Точность (accuracy) - способность ПП обеспечивать получение верных или предусмотренных результатов или эффектов функционирования с необходимой степенью точности.

• Комплексируемость (interoperability) - способность ПП взаимодействовать с одной или более заданных систем.

• Защищенность (security) - способность ПП защищать информацию таким образом, чтобы предотвращать их несанкционированное чтение или модификацию, и, вместе с тем, чтобы обеспечивать доступ допущенным лицам или системам.

• Нормосоответствие (compliance) - способность ПП соответствовать стандартам. Является подхарактеристикой всех показателей качества.

Надежность (reliabilty) - это способность ПП поддерживать заданный уровень выполнения при использовании согласно установленным условиям функционирования.

Подхарактеристики надежности:

• Завершенность (maturity) - способность ПП избегать отказов как результата дефектов.

• Отказоустойчивость (fault tolerance) - способность ПП поддерживать заданный уровень функционирования в случаях проявления дефектов или нарушения установленных интерфейсов.

• Восстанавливаемость (recoverability) - способность ПП к повторному установлению заданного уровня функционироания или восстановлению подвергшихся воздействию данных в случае отказа.

Удобство использования (usability) - это способность ПП быть понятным, удобным для усвоения, управляемым и привлекательным для пользователя при использовании согласно установленным условиям функционирования.

Подхарактеристики удобства использования:

• Понимаемость (understandability) - способность ПП предоставлять пользователю возможность понять степень адекватности ПП и возможности его использования для решения специальных задач, а также условия использования.

• Осваиваемость (learnability) - способность ПП предоставлять пользователю возможность освоения его приложений.

• Управляемость (operability) - способность ПП предоставлять пользователю возможность управлять и контролировать ПП.

• Привлекательность (attractiveness) - способность ПП быть привлекательным для пользователя.

Эффективность (efficiency) - способность ПП обеспечивать пригодность относительно количества потребляемых ресурсов при использовании согласно установленным условиям функционирования.

Подхарактеристики эффективности:

• Времяемкость (time behaviour) - способность ПП обеспечивать приемлемое время реакции на запросы и скорость обработки при функционировании в установленных условиях эксплуатации.

• Ресурсоемкость (resource utilisation) - способность использовать приемлемое количество и типы ресурсов при функционировании в установленных условиях эксплуатации.

Сопровождаемость (maintainability) - способность ПП к модификации, совершенствованию или адаптации к изменениям среды функционирования или функциональных требований.

Подхарактеристики сопровождаемости:

• Анализируемость (analysability) - способность ПП быть диагнозируемым для выявления недостатков или причин отказов либо для установления частей, которые должны быть видоизменены.

• Модифицируемость (changeability) - способность ПП предоставлять возможность реализации требуемой модификации;

• Стабилизированность (stability) - способность ПП избегать неожиданных эффектов модификации.

• Тестируемость (testability) - способность ПП предоставлять возможность проверки модифицированного ПП.

Мобильность (portability) - способность переноса ПП из одной среды функционирования в другую.

Подхарактеристики мобильности:

• Адаптируемость (adaptability) - способность ПП адаптироваться для функционирования в различных заданных средах без приложения дополнительных действий или средств, не предусмотренных ПП для этих целей.

• Настраеваемость (installability) - способность ПП быть настраеваемым для функционирования в заданной среде.

• Совместимость (co-existence) - способность ПП совместно функционировать с другими независимыми программными средствами в общей среде с разделением общих ресурсов.

• Заменоспособность (replacability) - способность ПП для использования с некоторой целью вместо другого заданного ПП в некоторой среде функционирования.

Оценка качества

Методологии и стандартизации оценки характеристик качества готовых программных средств и их компонентов (программного продукта) на различных этапах жизненного цикла посвящен международный стандарт ISO 14598, состоящий из шести частей. Рекомендуется следующая общая схема процессов оценки характеристик качества программ:

• установка исходных требований для оценки - определение целей испытаний, идентификация типа метрик программного средства, выделение адекватных показателей и требуемых значений атрибутов качества;

• селекция метрик качества, установление рейтингов и уровней приоритета метрик субхарактеристик и атрибутов, выделение критериев для проведения экспертиз и измерений;

• планирование и проектирование процессов оценки характеристик и атрибутов качества в жизненном цикле программного средства;

• выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка результатов.

Для каждой характеристики качества рекомендуется формировать меры и шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений. Реализация процессов оценки должна коррелировать с этапами жизненного цикла конкретного проекта программного средства в соответствии с применяемой, адаптированной версией стандарта ISO 12207.

Тестирование и другие методы оценки качества ПО

Тестирование — это наблюдение за функционированием ПО в специфических условиях с целью определения степени соответствия ПО требованиям к нему.

Это определение показывает, что:

• Тестирование само по себе не изменяет ПО, а значит, не способно влиять на те метрики качества, которые зависят только от самого ПО.

• Тестирование может служить методом контроля качества ПО, а именно тех его характеристик, которые проявляются при функционировании ПО.

Сопоставим теперь тестирование с другими методами оценки качества ПО. Для этого воспользуемся отчетами по проекту SCOPE , нацеленному на выделение средств и методов оценки различных характеристик качества. В следующем списке содержатся упоминаемые в них методы и несколько методов, по каким-то причинам не использованных в этом проекте. 

• Тестирование

  • Функциональное тестирование (functional tetsing)

  • Структурное тестирование, нацеленное на покрытие кода (glass box testing)

  • Лабораторное тестирование удобства использования ПО (laboratory testing)

  • Тестирование производительности (performance testing)

  • Нагрузочное тестирование (load testing, добавлено), стрессовое тестирование (stress testing, добавлено)

• Изучение документов с целью поиска проблемных мест и проверки соответствия стандартам, стилям, принятым правилам и соглашениям

  • Целенаправленное изучение кода (code inspection)

  • Целенаправленное изучение документации (documents inspection)

• Формальный анализ

  • Формальное доказательство свойств ПО (formal verification)

  • Анализ алгоритмической сложности (complexity analysis)

• Анализ

  • Проверка статической семантики языков программирования

  • Автоматический анализ кода (static analysis)

  • Анализ свойств ПО, выполняемый человеком

  • Анализ архитектуры и проекта (architecture review, design review)

  • Анализ процессов разработки (process analysis, добавлен)

• Измерения

  • Определение метрик ПО, проекта, документации

  • Измерения производительности (benchmarks)

  • Профилирование (profiling, добавлено)

• Моделирование, использование моделей для оценки свойств ПО

  • Модели использования (usability model)

  • Модели надежности (reliability model)

  • Модели функционирования: проверка на модели (model checking, добавлено), прототипирование (добавлено)