Липаев В.В. Программная инженерия

Лекция 18. Удостоверение качества и сертификация программных продуктов

та. В случае получения отрицательных результатов сертификационных испытаний принимается решение об отказе в выдаче сертификата соответ­ ствия. После доработки сертифицируемой продукции или системы каче­ ства испытания могут быть повторены. Результаты анализа состояния тех­ нологии или качества продукции оформляются актом, в котором даются оценки по всем позициям Программы испытаний и содержатся выводы, включающие общую оценку состояния производства и продукции, необ­ ходимость корректирующих мероприятий. Акт используется органом по сертификации наряду с протоколами испытаний, заявкой для выдачи и определения срока действия сертификата на программный продукт, пери­ одичности инспекционного контроля, а также для составления корректи­ рующих мероприятий.

По результатам сертификационных испытаний и экспертизы доку­ ментации принимается решение о выдаче сертификата. В случае получе­ ния отрицательных результатов сертификационных испытаний принима­ ется решение об отказе в выдаче сертификата соответствия. Кроме того, предприятию-заявителю могут быть направлены предложения по устранению предполагаемых причин отрицательных результатов испыта­ ний, после доработки сертифицируемой продукции испытания могут быть повторены.

Орган по сертификации после анализа протоколов испытаний, оцен­ ки производства, сертификации системы качества, анализа документации, указанной в решении по заявке, осуществляет оценку соответствия про­ дукции установленным требованиям, оформляет сертификат на осно­ вании заключения экспертов и регистрирует его. При внесении изменений в конструкторскую или эксплуатационную документацию, которые могут повлиять на качество системы или программный продукт, удостоверяе­ мые при сертификации, заявитель должен известить об этом орган по сертификации для принятия решения о необходимости проведения допол­ нительных испытаний. После регистрации сертификат вступает в силу и направляется предприятию-заявителю. Одновременно с выдачей сертифи­ ката предприятию-заявителю может выдаваться лицензия на право приме­ нения знака соответствия.

За сертифицированными программными продуктами в процессе их эксплуатации в течение всего срока действия сертификата соответствия должен осуществляться инспекционный контроль. Инспекционный кон-

590

18.2. Организация сертификации программных продуктов

троль проводится в форме периодических и внеплановых проверок соблю­ дения требований к качеству технологии и сертифицированной продук­ ции. Объектами контроля, в зависимости от схемы сертификации, являет­ ся сертифицированная продукция, система качества или стабильность про­ изводства предприятия-разработчика. При определении периодичности и объема инспекционной проверки учитываются следующие факторы: сте­ пень потенциальной опасности программного продукта, стабильность про­ изводства, объем выпуска, наличие и применение системы качества при разработке, информация о результатах испытаний продукта и его произ­ водства, проведенных изготовителем, органами государственного контро­ ля и надзора.

Результаты инспекционного контроля оформляются актом, в кото­ ром дается оценка результатов испытаний образцов и других проверок, делается общее заключение о состоянии производства сертифицирован­ ной продукции и возможности сохранения действия выданного сертифи­ ката. Акт хранится в органе по сертификации, а его копии направляются разработчику и в организации, принимавшие участие в инспекционном контроле. По результатам инспекционного контроля орган по сертифи­

кации может приостановить или отменить действие сертификата

и аннулировать лицензию на право применения знака соответствия в слу­ чае несоответствия продукции требованиям нормативных документов, кон­ тролируемых при сертификации, а также в случаях:

—принципиальных изменений модели зрелости, профиля стандар­ тов, нормативных документов на продукцию или метода испытаний;

—изменения конструкции (состава), комплектности продукции;

—изменения организации или технологии разработки и производства;

—невыполнения требований технологии, методов контроля и испы­ таний, системы качества, если перечисленные изменения могут вызвать несоответствие продукции требованиям, контролируемым при сертифика­ ции.

Решение о приостановлении действия сертификата и лицензии на право применения знака соответствия не принимается в том случае, если путем корректирующих мероприятий, согласованных с органом по серти­ фикации, его выдавшим, заявитель может устранить обнаруженные при­ чины несоответствия и подтвердить без повторных испытаний в аккреди­ тованной лаборатории соответствие продукта или процессов нормативным

591

Лекция 18. Удостоверение качества и сертификация программных продуктов

документам. Если этого сделать нельзя, то действие сертификата отменя­ ется, и лицензия на право применения знака соответствия аннулируется. Информация о приостановлении или отмене действия сертификата дово­ дится органом по сертификации, его выдавшим, до сведения заявителя, потребителей и других заинтересованных организаций. Действие серти­ фиката и право маркирования продукции знаком соответствия могут быть возобновлены при выполнении предприятием-разработчиком следующих условий:

—выявления причин несоответствия и их устранения;

—представления в орган по сертификации отчета о проделанной работе по улучшению и обеспечению качества продукции;

—проведения по методикам и под контролем органа по сертифика­ ции дополнительных испытаний продукции и получения положительных результатов.

18.3.Документирование процессов и результатов сертификации программных продуктов

Состав и содержание документации для сертификации системы качества предприятия зависят от характеристик проектирования, разра­ ботки и модификации программных средств, а также от требований к их качеству и особенностей технологической среды. Поэтому необходимый комплект документов для каждого предприятия или проекта следует вы­ бирать и адаптировать применительно к этим характеристикам. Оценивае­ мыми при сертификации показателями системы качества являются нали­ чие соответствующих документов и практическое выполнение требова­ ний определенного уровня модели зрелости CMMI или адаптированного профиля стандартов на базе ISO 9000:2000, а также созданных на их основе должностных инструкций специалистами предприятия-разработ­ чика. Заявитель должен подготовить и предъявить испытательной лабора­ тории согласованный между заказчиком и разработчиком и утвержденный комплект документов для проверки их достоверности, достаточности сос­ тава и качества изготовления в соответствии с нормативными документами.

Ориентировочный комплект основных документов при сертифи­ кации состоит из трех групп:

592

18.3.Документирование процессов и результатов сертификации программных продуктов

—базовые нормативные документы систем качества в соответ­ ствии с номенклатурой и содержанием профиля стандартов на базе ISO 9000:2000 или модели зрелости CMMI, а также подготовленные разра­ ботчиками на их основе Программа, Руководство и инструкции, предъяв­ ляемые испытателям (экспертам) системы качества или продукции прове­ ряемого предприятия;

—исходные документы, характеризующие конкретное предприятие или проект, а также жизненный цикл программного средства, подготавли­ ваемые руководством проекта для сертификации его качества;

—отчетные документы испытателей, отражающие результаты про­ верки (сертификации) системы качества предприятия и/или программного продукта, представляемые органу сертификации, заявителю и руковод­ ству проверяемого предприятия.

Предъявляемые на сертификацию программный продукт или система качества предприятия должны представляться в комплекте с соответству­ ющей документацией. Перечень и приблизительное содержание групп этих документов ниже ориентированы на общий случай проверки систем качества предприятий, обеспечивающих лсизненный цикл крупных про­ граммных продуктов. Комплект документов может сокращаться и адап­ тироваться по согласованию между заявителем, сертификатором и руко­ водством проверяемого предприятия в соответствии с характеристиками проектов программных средств. Некоторые документы могут объединять­ ся в интегрированные отчеты с четкой ответственностью определенных специалистов за их выполнение.

Базовые документы системы качества предприятия

и^кизненного цикла программного средства

1.Концепция, терминология, требования и Руководство по улучше­ нию деятельности — Системы менеджмента качества — ISO 9000:2000 или версия модели зрелости CMMI.

2.Адаптированные версии или перечень разделов и рекомендаций стандартов ISO 12207, ISO 15504, их Изменений и Руководств по при­ менению, выделенных при адаптации и обязательных для использования

всистеме качества конкретного предприятия или проекта программного продукта.

593

Лекция 18. Удостоверение качества и сертификация программных продуктов

3.Адаптированная версия или перечень разделов и рекомендаций стандарта ISO 90003, выделенных при адаптации и обязательных для при­ менения в системе качества предприятия, выпускающего программный продукт.

4.Базовые характеристики и атрибуты качества проекта ПС, выде­ ленные, адаптированные и конкретизированные на основе стандартов ISO

12182, ISO 9126, ISO 14598, ISO 25000.

5.Адаптированная версия и утвержденная редакция Руководства по сопровождению и конфигурационному управлению на основе рекоменда­ ций стандартов ISO 14764, ISO 10007, ISO 15846.

6.Комплект должностных инструкций, определяющих ответствен­ ность, полномочия и порядок взаимодействия всего руководящего, выпол­ няющего и проверяющего работу персонала, участвующего в процедурах системы качества предприятия для конкретного проекта ПС.

Исходные документы, отражающие особенности жизненного цикла конкретного

программного средства

1. Описание характеристик программных продуктов, создаваемых на предприятии, системы и внешней среды их жизненного цикла, необходи­ мых для адаптации и подготовки рабочих версий стандартов и требований проекта ПС и системы качества предприятия в соответствии с рекоменда­ циями стандартов ISO 12207, ISO 15504, ISO 90003 и ISO 9126.

2.Описание целей, требований и обязательств предприятия-разработ­ чика в области системы качества, критериев качества процессов и продук­ тов разработки, поставки и поддержки всего жизненного цикла ПС.

3.Комплект эксплуатационных документов, поставляемых заказчику

ипользователям для обеспечения ЖЦ и применения конкретной версии программного продукта на основе адаптированных стандартов ISO 9294,

ISO 15910, ISO 18019.

4.Документация и средства автоматизации проектирования, разра­ ботки, модификации, контроля и испытаний, используемых для обеспече­ ния жизненного цикла программного продукта.

5.Планы и методики испытаний применения и оценки эффективнос­ ти процессов системы качества предприятия и программного продукта.

594

18.3.Документирование процессов и результатов сертификации программных продуктов

6.Методики сопровождения, идентификации компонентов программ­ ного продукта и документации, анализа и утверждения версий комплексов программ и данных.

7.Методика конфигурационного управления, утверждения, хране­ ния, защиты, копирования версий программного продукта и сопровожда­ ющих документов, а также накопления и хранения зарегистрированных в архиве предприятия данных о характеристиках качества в течение жиз­ ненного цикла версий программного продукта.

Результирующие документы испытаний — сертификации системы качества предприятия и/или программного продукта

1. Отчет о наличии, актуальности и систематичности оформления документации, адаптированной к требованиям и положениям системы ка­ чества предприятия, обеспечивающей интегрированный процесс гарантии качества на протяжении всего жизненного цикла программного продукта.

2.Результаты контроля и испытаний состояния и применения систе­ мы качества, проводимых периодически для определения ее пригодности

иэффективности.

3.Отчет о наличии и поддержании в рабочем состоянии методик проведения проверок и документально оформленных отчетов о результа­ тах достигнутого качества выполнения требований договора на сертифи­ кацию с заказчиком.

4.Результаты регистрации достигнутых характеристик качества ком­ плекса программ: идентификация, накопление, хранение зарегистрирован­ ных данных о характеристиках и атрибутах качества программного про­ дукта и его компонентов.

5.Результаты реализация плана разработки, документально оформ­ ленных входных и выходных данных этапов разработки и протоколов проверки реализации жизненного цикла ПС.

6.Результаты практического выполнения Программы качества и осу­ ществления регламентированной деятельности в области качества на всех этапах жизненного цикла ПС.

7.Результаты аттестации имитаторов внешней среды и генераторов тестов, а также оценка их достаточности для выполнения сертификацион­ ных испытаний программного продукта.

595

приложение 1

ПЕРЕЧЕНЬ ОСНОВНЫХ СТАНДАРТОВ ПРОГРАММНОЙ ИНЖЕНЕРИИ

1. CMMI — Capability Maturity Model Integration for Product and Process Development — Интегрированная модель оценивания зрелости продуктов и процессов разработки программных средств.

2.ISO 15288:2002, Системная инженерия. Процессы жизненного цикла систем.

3.ISO 19760:2003. Системная инженерия. Руководство по примене­ нию стандарта ISO 15288.

4.ISO 12207:1995. (ГОСТ Р—1999). ИТ. Процессы жизненного цик­ ла программных средств.

5.ISO 12207:1995. ИТ. Процессы жизненного цикла программных средств. Изменения 1 и 2:2002-2004.

6.ISO 15271:1998. (ГОСТ Р—2002). ИТ. Руководство по примене­ нию ISO 12207.

7.ISO 16326:1999. (ГОСТ Р—2002). ИТ, Руководство по примене­ нию ISO 12207 при административном управлении проектами.

8.ISO 15504:1-9:1998. ТО. Оценка и аттестация зрелости процессов жизненного цикла программных средств. Ч. 1. Основные понятия и ввод­ ное руководство. Ч. 2. Эталонная модель процессов и их зрелости. Ч. 3. Проведение аттестации. Ч. 4. Руководство по проведению аттестации. Ч. 5. Модель аттестации и руководство по показателям. Ч. 6. Руководство по компетентности аттестаторов. Ч. 7. Руководство по применению при усо­ вершенствовании процессов. Ч. 8. Руководство по применению при опре­ делении зрелости процессов поставщика. Ч. 9. Словарь.

9.ISO 15504:1-5:2003-2006. ИТ. Процесс аттестации, Ч. 1. Концеп­ ция и словарь. Ч. 2. Выполнение аттестации. Ч. 3. Руководство по произ-

598

приложение 1. Перечень основных стандартов программной инженерии

водству аттестации. Ч. 4. Руководство пользователей для процессов усо­ вершенствования и определения зрелости процессов. Ч. 5. Образец моде­ ли процессов аттестации.

10.ГОСТ Р 51904—2002. Программное обеспечение встроенных си­ стем. Общие требования к разработке и документированию.

11.ISO 9000:2000. (ГОСТ Р—2001). Система менеджмента (админис­ тративного управления) качества. Основы и словарь.

12.ISO 9001:2000. (ГОСТ Р—2001 ). Система менеджмента (админи­ стративного управления) качества. Требования.

13.ISO 9004:2000. (ГОСТ Р—2001). Система менеджмента (адми­ нистративного управления) качества. Руководство по улучшению деятель­ ности.

14.ISO 90003:2004. Руководство по организации применения стан­ дарта ISO 9001:2000 для программных средств.

15.ISO 10005:1995. (ГОСТ). Административное управление каче­ ством. Руководящие указания по программам качества.

16.ISO 10006: 1997. (ГОСТ). Руководство по качеству при управле­ нии проектом.

17.ISO 10007:1995. (ГОСТ). Административное управление каче­ ством. Руководящие указания при управлении конфигурацией.

18.ISO 10011-1-3:1990. (ГОСТ). Руководящие положения по провер­ ке систем качества. Ч. 1. Проверка. Ч. 2. Квалификационные критерии для инспекторов-аудиторов систем качества. Ч. 3. Управление программами проверок.

19.ISO 12182:1998. (ГОСТ Р—2002). ИТ. Классификация программ­ ных средств.

20.ISO 9126:1991. (ГОСТ—1993). ИТ. Оценка программного про­ дукта. Характеристики качества и руководство по их применению.

21.ISO 14598-1-6:1998-2000. Оценивание программного продукта. Ч. 1. Общий обзор. Ч. 2. Планирование и управление. Ч. 3. Процессы для разра­ ботчиков. Ч. 4. Процессы для покупателей. Ч. 5. Процессы для оценщиков.

Ч.6. Документирование и оценивание модулей.

22.ISO 9126-1-4:2002. ИТ. ТО. Качество программных средств: Ч. 1. Модель качества. Ч. 2. Внешние метрики. Ч. 3. Внутренние метрики. Ч. 4. Метрики качества в использовании.

599