3.1 Моделі оцінки процесу (Process Assessment Models)

Модель оцінки задає, що саме визнається кращими практиками оцінки. Ці практики можуть стосуватися тільки "технічних" робіт програмної інженерії (наприклад, проектування або кодування), а можуть мати відношення і до питань управління, системної інженерії, управління персоналом і т.п.

Стандарт ISO / IEC 15504 (SPICE) визначає типову (exemplar) модель оцінки та вимоги відповідності до інших моделей. У кожному конкретному випадку використовується та чи інша існуюча модель - CMM-SW, CMMI, Bootstrap *. Також є й інші моделі, наприклад, ISO 9000-3 (тепер іменований як ISO 90003) "Software and Systems Engineering - Guidelines for the Application of ISO9001: 2000 to Computer Software", що є додатком загальної моделі якості ISO 9001 "Quality Management Systems - Requirements "до програмної інженерії. Крім того, існують приватні моделі, що охоплюють, наприклад, тільки питання документування, проектування і т.п.

* У 1990 році стартувала європейська ініціатива European Strategic Program for Information Technology (ESPRIT), метою якої було впровадження сучасних програмних технологій у Європі. В основу ініціативи лягли роботи Уотс Хампфрі (Watts S. Humphrey) - ідеолога CMMI, PSP (People Software Process) і багатьох інших сучасних концепцій програмної інженерії як дисципліни. Результат цієї ініціативи був названий "Bootstrap" - "самонастройка". У той час, як модель CMM - Capability Maturity Model (зокрема, CMM-SW - CMM for Software), а потім і CMMI, розроблялися з урахуванням потреб великих державних структур США (в першу чергу, міністерства оборони) та їх підрядників, модель Bootstrap спочатку була орієнтована на малі і середні комерційні компанії з певним акцентом на індивідуальні практики.

Також і в системній інженерії існують моделі зрілості, застосовні щодо програмного забезпечення, коли програми є частиною системи.

SWEBOK відзначає, що ряд моделей застосуємо до невеликих організацій.

Існують дві основні архітектури моделей оцінки: безперервна (continuous) і етапна (staged). Відмінності між ними полягають у погляді на порядок оцінки процесів. Вибір відповідної архітектури та моделі оцінки в конкретній організації повинен базуватися на її цілі та потреби (наприклад, необхідності вдосконалення тих чи інших процесних областей або офіційного підтвердження зовнішнім асесором досягнення організацією четвертого рівня зрілості всього процесу програмної інженерії по CMMI).

3.2 Методи оцінки процесу (Process Assessment Methods)

Для належного проведення оцінки відповідні методи <оцінки> дозволяють отримати кількісні параметри, що характеризують можливості оцінюваного процесу (або зрілості організації в цілому). Наприклад, метод CBA-IPI (CMM-Based Appraisals for Internal Process Improvement) фокусується на вдосконаленні процесу всередині організації, а метод SCE (Software Capability Evaluation) стосується процесів у підрядників *. Вимоги в обох типах методів відображають ті кращі практики оцінки, які описані в стандарті ISO 15504. Ці методи були розроблені для моделі CMM-SW. З виходом CMMI (інтегрованої моделі, яка об'єднує різні моделі CMM), відповідно, отримало розвиток нове сімейство методів - SCAMPI (Standard CMMI Appraisal Method for Process Improvement). Діяльність, яка виконується в процесі оцінки, розподіл зусиль по відповідних робіт і загальна атмосфера оцінки (що стосується, в першу чергу, ступеня формалізації, супутньої оцінки) можуть серйозно відрізнятися, залежно від того, чи спрямована оцінка на вдосконалення процесів або проводиться в контексті контракту / договору підряду. SEI розділяє загальне поняття appraisal на assessment і evaluation. Assessment - внутрішня діяльність в організації, спрямована на оцінку та вдосконалення власного процесу в рамках всієї організації. Evaluation має на увазі аудит і моніторинг процесів постачальника (підрядника, виконавця) з боку замовника, в першу чергу, в процесі самого виконання робіт, тобто вже після укладення контракту / договору підряду. CBA-IPI відноситься до загальної категорії методів Software Process Assessment (SPA) як частини робіт по вдосконаленню процесів - Software Process Improvements (SPI). SPI як діяльність щодо вдосконалення процесу (-ів) сьогодні вважається досить загальним терміном, використовуваним за рамками CMM / CMMI, наприклад, в контексті таких фреймворків, як ISO 15504 або TQM (Total Quality Management). Існує певна критика моделей, методів (та й самої ідеї) оцінки. Така критика, звичайно, заснована на емпіричній природі оцінки. Однак, після певного періоду часу, після публікації таких критичних матеріалів, досвід і практика індустрії сформували досить чіткі докази (в тому числі, зібравши необхідні статистичні дані - див звіти SEI CMU за результатами впровадження та використання CMMI) обґрунтованості сучасних принципів, моделей і методів оцінки.