Вероятностный подход определения полноты безопасности предварительно разработанных программных средств
D.1 Общие положения
Настоящее приложение содержит исходные руководящие материалы по использованию вероятностного подхода к определению полноты безопасности программных средств для предварительно разработанных программ на основе их опыта эксплуатации. Вероятностный подход является наиболее подходящим для оценки операционных систем, библиотечных компонентов, компиляторов и других программных систем. Настоящее приложение также содержит описание возможностей вероятностного подхода, однако его следует использовать только специалистам, компетентным в статистическом анализе.
Примечание - В настоящем приложении используется термин "уровень доверия", который описан в IEEE 352:1987. Эквивалентный термин "уровень значимости" приведен в [14].
Предложенные в настоящем приложении методы могут быть также использованы для демонстрации роста уровня полноты безопасности программных средств, которые некоторое время успешно эксплуатировались. Например, программные средства, созданные в соответствии с требованиями МЭК 61508-3 для SIL1, после соответствующего периода успешной работы в большом числе применений могут продемонстрировать соответствие уровню полноты безопасности SIL2.
Число запросов без отказов при испытании или число часов, необходимое для работы без отказов, для определения конкретного уровня полноты безопасности представлено в таблице D.1. В таблице D.1 также обобщены результаты, приведенные в D.2.1 и D.2.3.
Таблица D.1 - Необходимая предыстория для определения уровня полноты безопасности
|
|
|
|
|
|
|
|
|
SIL
|
Режим работы с низкой интенсивностью запросов (вероятность отказа при выполнении планируемых функций по запросу)
|
Число реальных запросов
|
Режим с высокой интенсивностью запросов или непрерывный режим работы (вероятность опасного отказа в час)
|
Общее число часов эксплуатации
| ||
|
|
|
1-
|
1-
|
|
1-
|
1-
|
|
4
|
|
4,6x10
|
3x10
|
|
4,6x10
|
3õ10
|
|
3
|
|
4,6x10
|
3x10
|
|
4,6x10
|
3õ10
|
|
2
|
|
4,6x10
|
3x10
|
|
4,6x10
|
3õ10
|
|
1
|
|
4,6x10
|
3x10
|
|
4,6x10
|
3õ10
|
|
Примечания
1
Величина 1-
2 Предпосылки и описание процедур получения числовых значений в настоящей таблице см. в D.2.1 и D.2.3.
| ||||||
=0,99
=0,95
=0,99
=0,95
10
äî <10
10
äî <10
10
äî <10
10
äî <10
10
äî <10
10
äî <10
10
äî <10
10
äî <10
представляет собой уровень доверия.
Опыт эксплуатации может быть выражен математически, как показано в D.2, для дополнения или замены статистического тестирования, а опыт эксплуатации, полученный из нескольких мест эксплуатации, может быть объединен (путем добавления конкретного числа обработанных запросов или часов работы в течение эксплуатации), но только в случае, если:
- программная версия, подлежащая использованию в системе E/E/PE, связанной с безопасностью, будет идентична версии, для которой предъявлен результат опыта ее эксплуатации;
- эксплуатационный профиль входного пространства очень близок друг другу;
- существует эффективная система уведомлений и документирования отказов;
- справедливы принятые в D.2 предположения.
D.2 Формулы статистического тестирования и примеры их использования
D.2.1 Простой статистический тест для режима работы с низкой интенсивностью запросов
D.2.1.1 Исходные предпосылки
a) Распределение тестовых данных равно распределению запросов при выполнении операций в режиме "онлайн".
b) Прохождения тестов статистически не зависят друг от друга в отношении причины отказа.
c) Для обнаружения любых отказов, которые могут появиться, существует адекватный механизм.
d)
Число тестовых примеров
100.
e)
Во время прогона
тестовых
примеров отказы отсутствуют.
D.2.1.2 Результаты
Вероятность
отказа
(на
один запрос) при уровне доверия 1-
определяется из выражения
èëè
.
D.2.1.3 Пример
Таблица D.2 - Вероятности отказа режима работы с низкой интенсивностью запросов
|
|
|
|
1-
|
|
|
0,95
|
3/
|
|
0,99
|
4,6/
|
Для вероятности отказа при запросе для уровня полноты безопасности SIL3 при 95%-ном уровне доверия применение указанной формулы дает 30000 тестовых примеров при выполнении условий принятых предпосылок. Результаты для каждого уровня полноты безопасности объединены в таблице D.1.
D.2.2 Тестирование входного массива (предметной области) для режима работы с низкой интенсивностью запросов
D.2.2.1 Исходные предпосылки
Единственная исходная предпосылка состоит в том, что тестируемые данные выбираются так, чтобы обеспечить случайное унифицированное распределение по входному массиву (предметной области).
D.2.2.2 Результаты
Необходимо
определить число тестов
,
которые требуются, исходя из порога
точности
,
входов для тестируемой функции с низкой
интенсивностью запросов (например
безопасное отключение).
Таблица D.3 - Средние расстояния между двумя точками тестирования
|
|
|
|
Размер предметного пространства
|
Среднее расстояние между двумя точками тестирования в произвольном направлении
|
|
1
|
|
|
2
|
|
|
3
|
|
|
|
|
|
Примечание
-
| |
может
быть любым положительным целым числом.
Значения 1, 2 и 3 приведены только в
качестве примеров.
D.2.2.3Пример
Рассмотрим безопасное отключение, которое зависит только от двух переменных A и B. Если проверкой было установлено, что пороговые значения, которые разделяют входную пару переменных A и B, определены с точностью до 1% от диапазона измерения А или В, то число равномерно распределенных тестовых примеров, требуемое в области A и B, будет равно
.
D.2.3 Простой статистический тест для режима с высокой интенсивностью запросов или непрерывного режима работы
D.2.3.1 Исходные предпосылки
a) Распределение данных такое же, как и распределение при выполнении операций в режиме "онлайн".
b) Относительное уменьшение вероятности отсутствия отказа пропорционально длительности рассматриваемого интервала времени и постоянно в противном случае.
c) Для обнаружения любых отказов, которые могут появиться, существует адекватный механизм.
d)
Тест выполняется в течение времени
тестирования
.
e)
Во время тестирования
никаких
отказов не происходит.
D.2.3.2 Результаты
Соотношение
между интенсивностью отказов
,
уровнем доверия 1-
и временем тестирования
имеет
вид
.
Интенсивность отказов обратно пропорциональна среднему времени наработки на отказ:
.
Примечание
- Настоящий стандарт не делает различий
между интенсивностью отказов в час и
частотой отказов в час. Строго говоря,
вероятность отказа
связана
с частотой отказов
выражением
,
однако область применения настоящего
стандарта охватывает частоту отказов
менее 10
1/ч, а для небольших значений частоты
справедливо
.
D.2.3.3 Пример
Таблица D.4 - Вероятности отказа для режима с высокой интенсивностью запросов или непрерывного режима работы
|
|
|
|
1-
|
|
|
0,95
|
3
|
|
0,99
|
4,6/
|
Для
подтверждения того, что среднее время
наработки на отказ составляет, по меньшей
мере, 10
ч с уровнем доверия 95%, требуется время
тестирования 3х10
ч и должны быть соблюдены исходные
предпосылки. Число тестов, необходимое
для каждого уровня полноты безопасности,
- в соответствии с таблицей D.1.
D.2.4 Полное тестирование
Программу
можно рассматривать как урну, содержащую
шаров.
Каждый шар представляет собой конкретное
свойство программы. Шары извлекаются
случайно и заменяются после проверки.
Полное тестирование достигается, если
все шары извлечены.
D.2.4.1 Исходные предпосылки
a)
Распределение тестируемых данных
таково, что каждое из
свойств
программы тестируется с равной
вероятностью.
b) Тесты проводятся независимо друг от друга.
c) Каждый появляющийся отказ обнаруживается.
d)
Число тестовых примеров
.
e)
Во время
тестовых
примеров отказы не появляются.
f) Каждый прогон теста контролирует одно свойство программы (свойство программы - это то, что может быть протестировано во время одного прогона теста).
D.2.4.2 Результаты
Вероятность
тестирования всех свойств программы
определяется
выражением
èëè
,
ãäå
.
При
оценке этого выражения обычно только
первые его члены имеют значение, поскольку
в реальных условиях выполняется
соотношение
,
что делает все члены этого выражения
при большом
несущественными.
Это видно из таблицы D.5.
D.2.4.3Пример
Рассмотрим
программу, которая имела несколько
инсталляций в течение нескольких лет.
За это время она выполнялась, по меньшей
мере, 7,5х10
раз. Предположим, что каждое сотое
выполнение программы соответствует
перечисленным выше исходным предпосылкам
(см. D.2.4.1). Поэтому для статистической
оценки могут быть приняты 7,5х10
выполнений программы. Если предположить,
что 4000 тестовых прохождений программы
могут выполнить исчерпывающее
тестирование, считая такую оценку
консервативной, то в соответствии с
таблицей D.5 вероятность того, что не все
будет протестировано, составляет
2,87х10
.
Ïðè
4000
значения первых членов в зависимости
от
представлены
в таблице D.5.
Таблица D.5 - Вероятность тестирования всех свойств программы
|
|
|
|
|
|
|
5õ10
|
1-1,9õ10
|
|
7,5õ10
|
1-2,87õ10
|
|
1õ10
|
1-5,54õ10
|
|
2õ10
|
1-7,67õ10
|
+1,10õ10
-…
+4õ10
-…
+1,52õ10
-…
+2,9õ10
-...
На практике такие оценки должны быть консервативными [14].
D.3 Литература
Более подробную информацию по указанным выше методам можно найти в IEEE 352:1987 и следующих документах:
Verification and Validation of Real-Time Software, Chapter 5. W.J.Quirk (ed.). Springer Verlag, 1985, ISBN 3-540-15102-8.
Combining Probabilistic and Deterministic Verification Efforts. W.D.Ehrenberger, SAFECOMP 92, Pergamon Press, ISBN 0-08-041893-7.
Ingenieurstatistik. Heinhold/Gaede, Oldenburg, 1972, ISBN 3-486-31743-1.
Приложение F
(справочное)