5. Сертификация программного обеспечения

5.1. Понятие сертификации

ПО применяется в областях, в которых ошибки или недостаточное качество программ могут нанести ущерб, зна­чительно превышающий положительный эффект от их использо­вания. Таким образом, возникает необходимость контроля за качеством программ и удостоверения их соответствия, достаточного для приме­нения программ по назначению и для эксплуатации. Для этого должны организовываться и соответствующим образом документироваться испытания ПО.

Сертификация является испытанием программ, но в бо­лее жестких условиях тестирования, коллективом специалистов, имеющим право на официальный государственный или ведомственный контроль функций, средств и качества ПС и гарантирующим его соответствие стандартам и дру­гим нормативным документам, а также безопасность его примене­ния [14].

Правила по проведению сертификации в Российской Федерации, утвержденные Постановлением Госстандарта России от 16 февраля 1994 г. N3, устанавливают цели, принципы, общие правила и рекомендации по проведению сертификации в Российской Федерации.

Правила применяются при организации и проведении работ по обязательной и добровольной сертификации и распространяются на сертификацию продукции, услуг и иных объектов (иными объектами могут быть процессы, работы, системы качеств и др.) как отечественных, так и импортируемых.

Правила по проведению сертификации в Российской Федерации устанавливают:

• основные цели и принципы сертификации;

• участников сертификации;

• правила проведения работ в области сертификации;

• системы сертификации однородной продукции.

При проведении испытаний ПО, специалисты имеют право на моделирование условий их проведения, создание различных критических ситуаций, при прохождении которых ПО должно обеспечивать ка­чество и безопасность результатов решения заданных задач. Если все испытания проходят успешно, то на соответствующую версию ПО оформляется специальный документ — сертификат соответствия. Этот документ официально подтверждает соответствие стандартам функций и характеристик, а также допустимость ПО для определенной области его применения. Он документально ут­верждает право на использование знаков соответствия требованиям сертификации, гарантирует безопасность применения ПО, а также юридически допускает его к эксплуатации и использованию по прямому назначению. Работы по сертификации объединяются в технологический процесс, на каждом этапе кото­рого регистрируются документы, отражающие состояние и каче­ство результатов разработки ПО [10].

Необходимость сертификации программ широкого класса привела к появлению ряда научных и методических задач, тесно связанных с процессами разработки программных средств (ПС) [9]:

• для каждого вида ПС необходимо научиться определять его категорию критичности, требуемую достоверность измерения по­казателей качества и уровень категории аттестации или сертифи­кации;

• в соответствии с требованиями к достоверности показателей качества должны определяться и минимизироваться содержание и объемы испытаний версий ПС;

• для обеспечения юридической ответственности за результаты испытаний должны быть разработаны эффективные методы и нор­мативные документы аттестации и сертификации различных видов ПС;

• типовой технологический процесс измерения качества ПС и его компонент должен быть поддержан достаточно эффективными средствами его автоматизации и определения достоверности изме­ряемых характеристик;

• исследование и обобщение опыта аттестации и сертификации ПС должны привести к минимизации затрат на такие испытания, а также улучшить технологические процессы разработки про­грамм, гарантирующие достижение требуемых показателей каче­ства для различных видов программ.

При оценке целесообразности сертификации необходимо учи­тывать возможные потери не только от кратковременного одно­кратного неудачного применения ПО, но и возможный суммарный потенциальный ущерб от искажений и сбоев при длительной экс­плуатации большого тиража версий ПО. Таким образом, в категории ПО, подлежащего сертификации, могут попадать широко тиражируемые, длительно и активно применяемые программы. Такими компонентами являются стандартизированные операционные системы, компиляторы и т. п. В этих случаях испытания могут проводить также специа­лизированные организации, которые своим авторите­том и соответствующим документом утверждают высокое качест­во программ для многочисленных пользователей [9].

Для каждого этапа испытаний при сертификации должны быть подготовлены [14, 15]:

• критерии и четко определенные значения показателей качест­ва, которые должны быть достигнуты для выдачи в последующем сертификата соответствия;

• значения исходных и результирующих данных, в пределах ко­торых должны удовлетворяться заданные показатели качества;

• стандарты и методики точных и воспроизводимых измерений показателей качества программ, а также исходные и результирую­щие данные, обязательные для проведения сертификации;

• аттестованные средства автоматизации измерения показателей качества, которым должны удовлетворять сертифицируемое ПС и его компоненты;

• коллектив специалистов, способных проводить испытания и измерения, необходимые для достоверного определения качества программ.

Трудно, а чаще всего невозможно создать высококачественные изделия из комплектующих компонент низкого качества. Поэтому в процессе сертификации большое значение придается испытаниям и определению качества программных компонент и модулей. Для этого используются и обобщаются данные тестирования программных модулей (ПМ), выполненных в процессе их отладки. В ре­зультате для каждого ПМ создается паспорт испытаний и достиг­нутого качества, отражающий полноту проведенного тестирования, содержание которого может быть следующим [9, 19, 20]:

• число маршрутов исполнения программы, выявляемых по про­стейшему и более сложным критериям:

• степень покрытия тестами маршрутов исполнения программы по разным критериям;

• относительное число тестов, использованных для проверки про­цессов обработки входных переменных;

• формально точное описание функций ПМ и диапазонов изме­нения исходных и результирующих данных, для которых гаранти­руется выполнение предписанных функций;

• оценка полноты проверки функций программного модуля и со­ответствия его требованиям спецификаций.

Результаты испытаний программных модулей, оформленные документально, подтверждают возможность многократного использования в различных версиях ПС. Документи­рование результатов последующих испытаний после завершения основ­ных стадий отладки функциональных групп программ, функций и качества их выполне­ния позволяет рассматривать их как самостоятельный программный продукт. Документы предшествующих этапов ис­пытаний и документы, подтверждающие соблюдение технологий при разработке программ на всех этапах, являются основанием для выдачи сертификата соответствия на проверенные программы [9].