3 Стандартний метод оцінки значень показників якості

Оцінка якості ПО згідно чотирьох рівневій моделі якості починається з нижнього рівня ієрархії, тобто з самої елементарної властивості оцінюваного атрибуту показника якості згідно встановлених заходів. На етапі проектування встановлюють значення оцінних елементів для кожного атрибуту показника аналізованого ПО, включеного у вимоги.

За визначенням стандарту ISO/IES 9126-2 метрика якості ПО є "моделлю виміру атрибуту, що зв'язується з показником його якості". Для користування метриками при виміри показників якості цей стандарт дозволяє визначати наступні типи заходів :

- заходи розміру в різних одиницях виміру (кількість функцій, розмір програми, об'єм ресурсів та ін.);

- заходи часу - періоди реального, процесорного або календарного часу (час функціонування системи, час виконання компонента, час використання та ін.);

- заходи зусиль - продуктивний час, витрачений на реалізацію проекту (продуктивність праці окремих учасників проекту, колективна трудомісткість та ін.);

- заходи інтервалів між подіями, наприклад, час між послідовними відмовами;

- рахункові заходи - лічильники для визначення кількості виявлених помилок, структурної складності програми, числа несумісних елементів, числа змін (наприклад, число виявлених відмов та ін.).

Метрики якості використовуються при оцінки міри тестованості після проведення випробувань ПО на безлічі тестів (безвідмовна робота, здійснимість функцій, зручність застосування інтерфейсів користувачів, БД і тому подібне).

Напрацювання на відмову, як атрибут надійності визначає середній час між появою погроз, що порушують безпеку, і забезпечує важко вимірну оцінку збитку, яка наноситься відповідними погрозами.

Дуже часто оцінка програми проводиться по числу рядків. При зіставленні двох програм, що реалізовують одне прикладне завдання перевага віддається короткій програмі, оскільки її створює більш кваліфікований персонал і в ній менше прихованих помилок і легше модифікувати. За вартістю вона дорожча, хоча часу на відладку і модифікацію йде більше. Тобто довжину програми можна використовувати як допоміжну властивість при порівнянні програм з урахуванням однакової кваліфікації розробників, єдиного стилю розробки і загального середовища.

Якщо у вимогах до ПП було вказано отримати декілька показників, то прорахований після збору даних при виконанні показник множиться на відповідний ваговий коефіцієнт, а потім підсумовуються усі показники для отримання комплексної оцінки рівня якості ПП.

На основі виміру кількісних характеристик і проведення експертизи якісних показників із застосуванням вагових коефіцієнтів, що нівелюють різні показники, обчислюється підсумкова оцінка якості продукту шляхом підсумовування результатів за окремими показниками і порівняння їх з еталонними показниками ПП (вартість, час, ресурси та ін.).

Тобто при проведенні оцінки окремого показника за допомогою оцінних елементів прораховується вагомий коефіцієнт k - метрика, j - показник, i - атрибут.

Наприклад, як j - показника візьмемо переносимість. Цей показник обчислюватиметься по п'яти атрибутах (i = 1, .., 5), причому кожен з них множитиметься на відповідний коефіцієнт k_i.

Усі метрики j - атрибуту підсумовуються і утворюють i - показник якості. Коли усі атрибути оцінені по кожному з показників якості, виробляється сумарна оцінка окремого показника, а потім і інтегральна оцінка якості з урахуванням вагових коефіцієнтів усіх показників ПП.

Зрештою результат оцінки якості є критерієм ефективності і доцільності застосування методів проектування, інструментальних засобів і методик оцінювання результатів створення програмного продукту на стадіях ЖЦ.

Для викладу оцінки значень показників якості використовується стандарт [4] у якому представлені наступні методи: вимірювальний, реєстраційний, розрахунковий і експертний (а також комбінації цих методів).

Вимірювальний метод базується на використанні вимірювальних і спеціальних програмних засобів для отримання інформації про характеристики ПО, наприклад, визначення об'єму, числа рядків коду, операторів, кількості гілок в програмі, число точок входу (виходу), реактивність та ін.

Реєстраційний метод використовується при підрахунку часу, числа збоїв або відмов, початку і кінця роботи ПО в процесі його виконання.

Розрахунковий метод базується на статистичних даних, зібраних при проведенні випробувань, експлуатації і супроводі ПО. Розрахунковими методами оцінюються показники надійності, точності, стійкості, реактивності та ін.

Експертний метод здійснюється групою експертів - фахівців, компетентних в рішенні цієї задачі або типу ПО. Їх оцінка базуються на досвіді і інтуїції, а не на безпосередніх результатах розрахунків або експериментів. Цей метод проводиться шляхом перегляду програм, кодів, супровідних документів і сприяє якісної оцінки створеного продукту. Для цього встановлюються контрольовані ознаки, що корелюються з одним або декількома показниками якості і включаються в опитні карти експертів. Метод застосовується при оцінці таких показників як, аналізованість, документуємість, структурованість ПП та ін.

Для оцінки значень показників якості залежно від особливостей використовуваних ними властивостей, призначення, способів їх визначення використовуються шкали:

- метрична (1.1 - абсолютна, 1.2 - відносна, 1.3 - інтегральна);

- порядкова (рангова), яка дозволяє ранжирувати характеристики шляхом порівняння з єтальном;

- класифікаційна, яка характеризує тільки наявність або відсутність даної властивості у оцінюваного програмного забезпечення.

Показники, що обчислюються за допомогою метричних шкал, називаються кількісними, а за допомогою порядкових і класифікаційних - якісними.

Атрибути програмної системи, що характеризують її якість, вимірюються з використанням метрик якості. Метрика визначає міру атрибуту, тобто змінну, якій привласнюється значення в результаті виміру. Для правильного використання результатів вимірів кожна міра ідентифікується шкалою вимірів.

Стандарт ISO/IES 9126-2 рекомендує застосовувати 5 видів шкал виміру значень, які впорядковані від менш строгою до строгішої:

- номінальна шкала відбиває категорії властивостей оцінюваного об'єкту без їх впорядкування;

- порядкова шкала служить для впорядковування характеристики за збільшенням або убуванню шляхом порівняння їх з базовими значеннями;

- інтервальна шкала задає істотні властивості об'єкту (наприклад, календарна дата);

- відносна шкала задає деяке значення відносно вибраної одиниці;

- абсолютна шкала вказує на фактичне значення величини (наприклад, число помилок в програмі дорівнює 10).