8. Тестування надійності

Міри надійності

Надійність дуже важлива. Але як її вимірювати? Як порівняти два продукти з точки зору надійності?

Заходи надійності слід визначити. Вимагати надійність немає сенсу, якщо цього не зробити.

Нижче ми наводимо деякі приклади вимірювань надійності:

Міра 1

Мірою є вірогідність помилки при виконанні транзакції. Кожна визначена помилка припиняє транзакцію. Формальна міра - частота таких помилок.

Міра 2

Міра - частота операцій з помилками за одиницю часу. Вона використовується в системах, де немає транзакцій. Наприклад, 0.1/ч означає, що на годину кількість очікуваних помилок дорівнює 0.1.

Міра 3

Мірою є доступність, тобто вірогідність того, що в конкретний момент часу система доступна для виконання завдання. Вона обчислюється як відношення часу, коли система доступна, до часу, необхідного для відновлення після помилки (від появи до усунення помилки). Міра враховує помилкові операції і час, витрачений з їх причини.

Оцінка надійності

Рівень надійності (значення якоїсь міри) визначається вимогами клієнта. Але це у великій мірі відображається в якісній формі, що робить перевірку складною.

Оцінка важлива навіть якщо клієнт не зазначив її у вимогах. Наприклад, зусилля на підтримку можуть значно зменшиться якщо надійність враховуватиметься при спорудженні системи.

Надійність дозволяє оцінити витрати на обслуговування, персонал, телефонні дзвінки, загальну вартість послуг.

Оцінка надійності дозволяє оцінити і поліпшити процес виробництва з точки зору мінімізації витрат на виробництво, підтримку, успіху на ринку і репутації компанії.

Підвищення надійності ПЗ

Мета знаходження помилок полягає в їх виправленні. Якщо цей процес не додасть нових помилок, надійність підвищується. У разі статистичних тестів, покращення визначається за формулою:

Надійність = Надійність_початкова * e (-C * Кількість_тестів)

Міра надійності - частота помилок в операціях. Константа C залежить від системи. Для знаходження С може бути використаний метод найменших квадратів, грунтуючись на надійності спостережень. Надійність можна підвищити, якщо дані,які тестуються вибираються з не тестованих раніше.

9. Типи тестів на знаходження помилок

Динамічні тести класифікують як:

• Функціональні тести (тестування методом чорного ящика) враховують тільки вимоги.

Система розглядається як чорний ящик, виконуючи свої функції невідомим чином. Тестування повинні проводити персони, що не приймали участі у виробництві тестованих частин.

• Структурні тести (тестування методом прозорого ящика) враховують механізми реалізації.

Функціональні тести

Повне тестування системи неможливе, оскільки кількість можливих комбінацій вхідних даних дуже велика. Це справедливо навіть для маленьких систем, на тестування яких пішли б роки.

Зазвичай вважається, що якщо функція працює при одних типах даних, то вона працюватиме при всіх. Але це велика помилка, гарантії якому немає.

Дані групуються, що вводяться, відповідно до опису вимог. Наприклад:

Рахунок, менший 1000 грн, повинен бути схвалений супервізором.

Рахунок, більший 1000 грн, повинен бути схвалений президентом.

Така вимога розділяє дані на два класи. Хоча тестування, наприклад, одного значення для кожного класу недостатньо. Граничні умови теж слід перевірити.

Вибух тестованих даних

Приклад демонструє, що тестування повинно проводитися, принаймні, п'ятьма значеннями: 0, 500, 1000, 1500 і максимальним. Якщо кількість таких значень дуже велика, ми застосовуємо комбінаторний вибух для тестових значень. Дані діляться на класи еквівалентності, які враховують елементарні умови. Наприклад, якщо ці умови доповнюються наступними:

Супервізор може схвалити місячний рахунок в 10000 грн. Кожен рахунок, що перевищує цю суму, повинен схвалюватися президентом. Наступні класи також можуть бути враховані в даних, що вводяться: рахунок до 1000 грн; рахунок до 1000 грн; рахунок більше 1000 грн, що не перевищує 10000 грн; рахунок більше 1000 грн, що перевищує 10000 грн;

Врахування цих граничних випадків приводить до збільшення випадків тестування: (0,500,1000, 1500, max) x (<10000, 10000, >10000).

На практиці тестування всіх граничних значень (навіть обмежених типовими і крайніми) неможливе. Повинні бути обрані характерні випадки. Рекомендується враховувати наступне:

• Вірогідність виконання функції важливіша за її якість.

• Функції попередньої версії важливіші, ніж нові. Користувачі будуть незадоволені, якщо їх функція в новій версії перестане працювати.

• Типові ситуації важливіші, ніж виняткові випадки, - помилка у перших буде більш значуща, ніж в других.

Структурні тести

У разі структурних тестів дані вибираються на основі аналізу структури системи, і їх критерії наступні:

• Критерій покриття всіх функцій. Відповідно до цього критерію, вибір вхідних даних, повинен дати виконатися функціям хоча б один раз. Для задоволення критерію нам не потрібна велика кількість тестів. Критерій не дуже ефективний.

if x > 0 then begin end; y:=ln(x);

• Критерій покриття всіх виключень умов. Вхідні дані, повинні вибиратися так, щоб кожна умова виконалася хоча б раз або не виконалася. Граничні умови також слід перевірити. У даному прикладі ця вимога дозволяє знайти помилку у випадках if x=0 or x<0.

Можуть бути задіяні вимогливіші критерії.

Тестування програм з циклами

Крітерий вибору даних грунтується на наступних припущеннях:

Дані повинні бути такими, щоб виконалося 0 циклів, мінімальна кількість циклів, максимальна і середня.