1.4.4. Тестування програмного забезпечення

Тестування ПЗ - це процес перевірки готової програми в статиці (перегляди, інспекції, налагодження вихідного коду) і в динаміці (прогін на наборі тестових даних) з метою перевірки різних шляхів виконання програми і порівняння отриманих результатів із заздалегідь заданими.

Існує дві форми перевірки коду - модульна й інтеграційна. Спочатку викори­стовують стандарти (IEEE 829:1996 і IЕЕЕ 1008:1987) з перевірки і тестування мо­дулів. Потім проводиться інтеграційне тестування модулів системи і їх інтерфейсів у динаміці виконання. Під час різних видів перевірок збираються дані про помилки, дефекти, відмови тощо і оформляється відповідна документація (таблиці типів по­милок, частоти і часу виявлення відмов і ін.). Зібрані дані використовуються при оцінюванні характеристик якості готового ПЗ, наприклад, надійності.

Область знань «Тестування ПЗ (Software Testing)» містить у собі такі розділи:

- основні концепції і визначення тестування (Testing Basic Concepts and definitions),

- рівні тестування (Test Levels),

- техніки тестування (Test Techniques),

- метрики тестування (Test Related Measures),

- керування процесом тестування (Managing the Test Process).

Дана область знань SWEBOK визначає методи перевірки правильності ПЗ: верифікація, валідація, тестування. Наводяться типи, рівні і техніки тестування ПЗ, методи планування процесу тестування, розроблення тестових наборів даних для прогону ПЗ в режимі випробування модулів або системи в цілому і наступною оцінкою результатів тестування.

Основна концепція тестування - це базові терміни, ключові проблеми і їхній зв'язок з іншими областями знань. Тестування визначається як процес перевірки правильності програми в динаміці її виконання за тестовими даними. При тестуванні виявляються недоліки: відмови (faults) і дефекти (defects) як причини порушення роботи програми, збої (failures) як небажані ситуації, помилки (errors) як наслідки збоїв і ін. Базове поняття тестування - тест, що виконується в заданих умовах і за наборами даних. Тестування вважається успішним, якщо знайдено дефект або помилка, і вони відразу усуваються. Ступінь тестованості визначається критерієм покриття системи тестами, перевірки всіх можливих шляхів виконання програм і Імовірності припущення,стосовно того, що може з'явитися збій або помилкова ситуація в системі.

Рівні тестування:

- тестування окремих елементів - це перевірка окремих, ізольованих і неза­лежних одна від одної частин ПЗ;

- інтеграційне тестування орієнтоване на перевірку зв'язків і взаємодії ком­понентів (інтерфейсів), що можуть розміщуватися на різних архітектурних платформах розподіленого середовища;

- тестування системи - це перевірка правильності функціонування системи, пошук і виявлення відмов і дефектів у системі і їхнє усунення. При цьому контролюється виконання сформульованих не функціональних вимог (безпека, надійність і ін.) у системі, правильність подання і здійснення зовнішніх інтерфейсів системи з зовнішнім середовищем.

На всіх рівнях тестування застосовуються методи:

- функціонального тестування, які забезпечують перевірку реалізації функ­цій, що визначені у вимогах, а також правильності їх виконання;

-регресійного тестування, що орієнтоване на повторне вибіркове тестування системи або її компонентів після внесення в них змін на тих самих тестах, що і до модифікації;

- тестування ефективності - це перевірка продуктивності, пропускної здатності, максимального обсягу даних і системних обмежень відповідно до вимог;

- стрес-тестування - це перевірка поведінки системи при максимально припустимому навантаженні або в разі його перевищення;

- альфа- і бета-тестування - це тестування системи (альфа) групою тестування організації-розробника і тестування системи «зовнішніми» користувача­ми (бета);

- конфігураційного тестування - перевірка структури й ідентифікації системи, а також роботи системи на різних конфігураціях апаратури й устаткування.

Тестуванню підлягають також перевірка реалізації вимог і забезпечення па­раметрів настроювання і розміщення компонентів ПЗ на заданій кількості і типах комп'ютерів і середовища.

Техніки тестування базуються на певних теоретичних і практичних положеннях щодо проектування (компонентного, об'єктно-орієнтованого, сервіс­ного і т.п.), а також на таких даних:

- інформація про структуру ПЗ або системи в документації («біла скринька»);

- підбір тестових наборів даних для перевірки правильності роботи компонентів і системи в цілому без знання їх структури («чорна скринька»);

- аналіз граничних значень, таблиць прийняття рішень, потоків даних, стати­стики відмов і ін.;

- блок-схеми побудови програм і складання наборів тестів для покриття сис­теми цими тестами;

- виявлені і зафіксовані в таблицях системи дефекти, перед - і посту мови виконання, структурні характеристики системи (кількість модулів, обсяг даних то­що).

Метрики тестування. Для вимірювання результатів тестування ПЗ й оцінки якості використовуються метрики. Вимір як частина планування і розробки тестів базується на розмірі програм, їх структурі і кількості виявлених помилок і дефектів. Метрики тестування — це вимірювання процесу планування, проектування і тестування; а також результатів тестування на основі таксономії відмов і дефектів, покриття границь тестування, перевірки потоків даних і ін.

Процес тестування документується і, відповідно до стандарту IEEE 829:1995, містить у собі опис тестових документів, їх зв'язку між собою і з задачами тестування. Без документації на процес тестування неможливо провести сертифіка­цію продукту за моделями зрілості, зокрема, моделлю СММ [12]. Після завершення тестування оцінюється вартість і ризики ПЗ, викликані збоями або недостатньо на­дійною роботою системи. Вартість тестування - одне з обмежень, на основі якого приймається рішення про його припинення або продовження.

Керування тестуванням:

- планування процесу тестування (складання планів, тестів, наборів даних) і оцінювання показників якості готового продукту;

- проведення тестування компонентів повторного використання і патернів як основних об'єктів складання ПЗ;

- генерація необхідних тестових сценаріїв, що відповідають середовищу ви­конання ПЗ;

- верифікація правильності реалізації системи і валідація реалізації вимог до ПЗ;

- збирання даних про відмови, помилки і виявлені непередбачені ситуації при виконанні програмного продукту;

- підготовка звітів за результатами тестування й оцінка характеристик систе­ми.

Відповідно до стандарту ISO/IEC 12207 тестування ПЗ розглядається як не­від'ємна частина ЖЦ.