III. Випробування програмних продуктів (аналіз).

1. Мета і особливості випробуванні.

Випробування є найважливішим елементом управління якістю продукції. Відповідно до ГОСТ 16504—81 під випробуванням промыш­ленной продукції розуміють експериментальне визначення кількісних і якісних характеристик об'єкту випробування як результату дії на нього; при його функцио­нировании; при моделюванні об'єкту і дії. Під випробуванням програмної продукції слід розуміти экспери­ментальное визначення кількісних і якісних характеристик властивостей продукції при її функціонуванні в реальному середовищі і моделюванні середовища функціонування.

Метою випробування є експериментальне визначення фактичних (досягнутих) характеристик властивостей испытывае­мого ПІ. Ці характеристики можуть бути як кількісними, так і якісними. Поважно, аби на їх основі можна було зробити вивід про придатність дане ПІ до використання по своєму призначенню. Якщо вивід негативний, то зразок ПІ повертається на доопрацювання. Таким чином перекривається до­ступ недоброякісної продукції до користувача, Непосред­ственно в ході випробувань якість ПІ може і не змінитися, оскільки локалізація помилок не є метою випробування. Вме­сте з тим деякі дефекти в програмах і документації можуть усуватися по ходу випробування.

Випробування є завершуючим етапом розробки. Йому передує етап статичної і динамічної відладки про­грамм. Основним методом динамічної відладки є тести­рование. У вузькому сенсі мета тестування полягає в обнаруже­нии помилок, мета ж отладки—не лише у виявленні, але верб усуненні помилок. Проте обмежитися лише відладкою про­граммы, якщо є упевненість в тому, що всі помилки в ній устра­нены, не можна. Цілі у відладки і випробування різні. Повністю відлагоджена програма може не володіти певними по­требительскими властивостями і тим самим бути непридатною до використання по своєму призначенню. Не може служити аль­тернативой випробуванню і перевірка працездатності програми на контрольному прикладі, оскільки програма, працездатна в умовах контрольного прикладу, може виявитися неработо­способной в інших умовах вживання. Спроби охопити контрольним прикладом всі передбачувані умови функциони­рования зводяться кінець кінцем до тих же випробувань.

Відповідно до ГОСТ 19,004—80 під випробуванням програм розуміють встановлення відповідності програми заданим тре­бованиям і програмним документам. Це визначення построе­но на припущенні, що в технічному завданні на розробку програми визначені всі вимоги (характеристики), обе­спечение яких гарантує придатність програми до исполь­зованию по своєму призначенню. Але така вимога рідко дотримується на практиці. В деяких випадках, особливо в авто­матизированных системах, ТЗ на ПС або взагалі не пишуть, або в них перераховують лише функції, які покладаються на ПС, без вказівки вимог до інших споживчих властивостей. За відсутності ТЗ на розробку ПС або повного і обоснован­ного переліку вимог до характеристик ПС, що розробляється, завдання випробування ПС стає невизначеним і некон­структивной. Що означає встановити відповідність програми заданим вимогам, якщо ці вимоги формально не за­даны? Яка користь від встановлення такої відповідності, якщо ці вимоги свідомо «усічені» і не відображають основних споживчих властивостей програми? Користувачеві буде не легко, якщо програма функціонує погано, але це в явному вигляді не противоречит вимогам ТЗ.

За наявності в ТЗ необхідних характеристик основних потре­бительских властивостей ПІ приведені визначення терміну «випробування» по меті випробування практично збігаються. Проте і в цьому випадку перше визначення є конструктивнішим, оскільки воно формулює не лише мету, але і основний метод проведення випробуванні — перевірка ПІ, функционирую­щего в реальній або модельованій, але близькій до реального середовища

У зарубіжній літературі, у тому числі в стандартах на програмне забезпечення, поняття «випробування» часто отождествля­ют з поняттям «тестуванням». Наприклад, в Std IEEE 829—1983 «Документація тестів програмного забезпечення» (США) дано наступне визначення тестування: «...процесс активного аналізу ПО на предмет виявлення розбіжності між реаль­ными і необхідними нормами ПО (тобто наявність помилок в про­граммах) і з метою оцінки характеристик елементів ПО». Дан­ноє визначення об'єднує два приведені визначення тер­мина «випробування» з тією лише різницею, що при прийнятій (див. визначення) концепції пошук і локалізація помилок на є явно вираженими цілями випробування. З врахуванням вы­сказанных міркувань термін «тестування», використовуваний в зарубіжній літературі, інтерпретуватимемо як испыта­ние методом тестування

Тривалість випробування залежить від типа, конфігурації (складнощі) ПС, а також від цілей і міри автоматизації рас­сматриваемого технологічного процесу. При випробуванні опе­рационных систем вона вагається від одного до шести місяців [20]. Складні програмні комплекси після інтеграції можуть випробовуватися і більш тривалий час.

Основними видами випробування ПП є попередні, приймальні і експлуатаційні випробування, включаючи дослідну експлуатацію. Особливості їх організації і проведення детально розглянуті в книзі [18].

Залежно від місця проведення розрізняють стендові і полігонні випробування. Під випробувальним стендом розуміють сукупність технічних пристроїв і математичних моделей, що забезпечують в автоматичному режимі імітацію середовища функціонування; вступ вхідних даних, що спотворюють дії; реєстрацію інформації про функціонування ПС, а також управління процесом випробування і об'єктом випробування. Якщо в основу стендових випробувань покладений принцип моделиро­вания, то відповідні випробувальні стенди називають такими, що моделюють.

Випробувальним полігоном називають місце, призначене для випробувань в умовах, близьких до умов експлуатації, і забезпечене необхідними засобами випробування. Полігонним випробуванням піддають системи, що працюють в реальному мас­штабе часі. У полігонних умовах зазвичай поєднують натур­ные випробування з використанням реальних об'єктів автома­тизируемых систем і моделювання деяких об'єктів і про­цессов їх функціонування. У останнє. Час в деяких розробляючих організаціях створюють випробувальні полиго­ны, що є сукупністю спеціалізованих за профілем даної організації випробувальних стендів. Такі по­лигоны мають загальну технічну і інформаційну бази, а також програмні засоби організації випробувань.

По мірі залежності випробувачів від розробників раз­личают залежні і незалежні випробування. При залежних випробуваннях основні операції з випробовуваними ПС (подготов­ка до роботи, підготовка і введення вихідних даних, реєстрація і аналіз результатів) виконують розробники програм. Оцен­ку результатів випробування виробляє комісія при активній участі розробників. Незалежні випробування проводять спе­циальные підрозділи, що не несуть відповідальності за разра­ботку програм і руководи­телям розробки, що безпосередньо не підкоряються.