17. Проверка и испытание программ

Испытания программ на надёжность и испытания изделий на надёжность их программного обеспечения - обязательные этапы при проверке надёжности систем. Испытания с целью проверки надёжности программ осуществляются с помощью специальных программ (тестирование) и специальных (имитационных) стендов. Проверяется при этом степень отработанности программы и её соответствие заданным требованиям. Испытания с целью проверки надёжности изделий, работающих под управлением программ, осуществляются при совместной работе программы и изделия. Проверяются при этом и степень отработанности программы в соответствии с заданными требованиями, и корректность этих требований, и согласованность взаимодействий программы и аппаратуры. Степень отработанности программы может проверяться различными методами. Чем выше требование к достоверности проверки, тем более сложен метод проверки. Рассмотрим один из наиболее простых методов. В процессе проверки “корректности” программы (с помощью наблюдений за работой либо изделия, либо имитирующего устройства, либо на специальном стенде с помощью тестов) фиксируются времена обнаружения ошибок в программе. Результаты проверки обрабатываются при следующих

предположениях: 1) ошибки программы независимы. Каждый раз после обнаружения они устраняются и в дальнейшем не проявляются. 2) интенсивность ошибок уменьшается по мере их обнаружения и устранения

Статистическая интенсивность программных λ ошибок определяется так же как интенсивность

аппаратных отказов по формуле:

где n(t) - число идентичных программ, не отказавших к моменту времени t; Δn(t) - число отказавших идентичных программ на интервале(t, t + Δt).

Выявление и устранение ошибок производится до тех пор, пока значение λ(tn) будет меньше заданного значения. Заданное значение λ tn назначается с учётом требований к надёжности изделия. Ориетировочно можно исходить из того, что интенсивность программных ошибок, приводящих к отказу, на этапе отладочных испытаний должна быть не больше интенсивности аппаратурных отказов.

Положение о том, что при создании программного обеспечения больших систем возможно возникновение ошибок и что выявление программных ошибок - чрезвычайно трудная задача,

не только не должно обезоруживать разработчиков систем, а наоборот, должно ориентировать их на максимальное сосредоточение сил для ликвидации программных отказов.

Влияние программных ошибок на надёжность изделия должно непрерывно уменьшаться с каждым новым этапом освоения программ (разработка - отладка - опытная эксплуатация - нормальная эксплуатация) так, чтобы на этапе нормальной эксплуатации объекта программная надёжность его была на уровне заданных требований.

18. Критерии оценки

Всё множество различных показателей надёжности программных систем можно разбить на две большие группы:

1. Количественные показатели надёжности ПО.

2. Качественные показатели надёжности ПО.

Можно выделить следующие характеристики и количественные показатели надёжности ПО:

1. Безотказность. способность ПО выполнять заданные функции в заданных условиях эксплуатации технической системы, отказ программы - это результат проявления скрытой ошибки. Для невосстанавливаемых в ходе эксплуатации программ обобщённой характеристикой надёжности (безотказности) является вероятность безотказной работы P(t), характеризующая вероятность того, что за время t отказа не произойдёт:

где T - время работы ПО до отказа или наработка ПО до отказа (T - случайная величина);

q(t) - вероятность отказа ПО.

можно определить функцию интенсивности отказов:

Среднее время наработки до наступления отказа (среднее время безотказной работы) определяется как математическое ожидание временного интервала между двумя последовательными нарушениями работоспособности ПО:

Для экспоненциального закона распределения отказов:

2. Устойчивость. Устйчивость ПО определяет способность системы выполнять заданные функции в условиях действия помех (ошибок, сбоев, отказов), возникающих во внепрограммных источниках (техническое обеспечение, исходные данные).

Показатели устойчивости - это показатели безотказности, но с использованием условных вероятностей. Условием, при котором вычисляются вероятности, является отказ (сбой) в программе или аппаратуре.

Для невосстанавливаемых (некорректируемых) программ обобщённым показателем устойчивости служит условная вероятность безотказной работы:

где P(A) - вероятность ошибки (сбоя) программы или отказа аппаратуры. Безотказность и устойчивость - динамические характеристики, то есть они характеризуют надёжность ПО в процессе работы.

3. Корректируемость. характеризует приспособленность ПО к поиску и устранению ошибок и внесению в него изменений в ходе эксплуатации. Он используется для характеристики восстанавливаемых в ходе эксплуатации программ. Показатели корректируемости: время корректировки Tk , вероятность корректировки программы за заданное время Pk t , коэффициент готовности kΓ , параметр потока

корректировок ωk t .

4. Защищённость и долговечность. Дополнительными характеристиками надёжности ПО являются: показатель защищённости от посторонних вмешательств в работу ПО и показатель долговечности, характеризующий свойства программ избегать морального старения при длительном использовании. Защищённость характеризуется вероятностью внесения искажений при постороннем вмешательстве, а долговечность – временем отказа ПО вследствие морального старения.

В зависимости от условий применения ПО можно выделить три режима (типа) его работы:

1. Программа не корректируется, т.е. после отказа ПО не восстанавливается. Основные показатели надёжности для этого режима работы программ - безотказность, устойчивость и защищённость.

2. Программа не корректируется, однако после отказа ПО система продолжает функционировать нормально. Основные показатели надёжности - безотказность,устойчивость, защищённость и долговечность.

3. После каждого отказа ПО корректируется, отлаживается и только после этого снова сдаётся в эксплуатацию. Основные показатели надёжности - безотказность, устойчивость, корректируемость, защищённость, а также потери времени.