3. Функциональное тестирование (ate_fun)

Цели

Функциональное тестирование, выполняемое разработчиком, устанавливает, что ФБО проявляют свойства, необходимые для удовлетворения функциональных требований ПЗ/ЗБ. Такое функциональное тестирование обеспечивает доверие к тому, что ОО, по меньшей мере, удовлетворяет функциональным требованиям безопасности ОО, хотя и не может установить, что ОО не обладает большими возможностями, чем определено спецификациями. Семейство ATE_FUN сосредоточено на типе и объеме необходимой документации или требуемых инструментальных средств поддержки, а также на том, что будет демонстрировать тестирование, проведенное разработчиком. Функциональное тестирование не ограничено позитивным подтверждением предоставления требуемых функций безопасности, но может также включать в себя негативное тестирование (часто основанное на инверсии функциональных требований) для проверки отсутствия нежелательных режимов функционирования.

Это семейство способствует обеспечению доверия, что вероятность наличия незамеченных недостатков относительно мала.

Семейства ATE_COV, ATE_DPT и ATE_FUN используют совместно для определения свидетельства тестирования, представляемого разработчиком. Независимое функциональное тестирование, выполняемое оценщиком, рассмотрено в ATE_IND.

Ранжирование компонентов

Это семейство содержит два компонента. Иерархичный компонент содержит требование, чтобы была проанализирована зависимость от порядка выполнения процедур тестирования.

Замечания по применению

Как ожидается, процедуры выполнения тестов будут обеспечены инструкциями по использованию тестовых программ и комплектов тестов, включая среду и условия тестирования, параметры и значения тестовых данных. Следует также, чтобы процедуры тестирования показывали, как результаты тестирования получаются из входных данных тестирования.

Это семейство определяет требования для представления всех планов, процедур и результатов тестирования. В соответствии с этим объем информации, которую необходимо представить, будет меняться в зависимости от использования ATE_COV и ATE_DPT.

Зависимость от порядка выполнения актуальна, когда успешное выполнение конкретного теста зависит от существования конкретного состояния. Например, можно потребовать, чтобы тест А выполнялся непосредственно перед тестом Б, так как состояние, следующее из успешного выполнения теста А, – предпосылка для успешного выполнения теста Б. Таким образом, неудача теста Б может быть связана с проблемой зависимости от порядка выполнения. В приведенном примере тест Б может закончиться неудачно, потому что тест В (а не A) был выполнен непосредственно перед ним, или же неудача теста Б связана с неудачей теста A.

ATE_FUN.1 Функциональное тестирование

Цели

Цель разработчика – демонстрировать, что все функции безопасности выполняются в соответствии со спецификациями. От разработчика требуется выполнить тестирование и представить тестовую документацию.

Зависимости отсутствуют.

Элементы действий разработчика

ATE_FUN.1.1D Разработчик должен протестировать ФБО и задокументировать результаты.

ATE_FUN.1.2D Разработчик должен представить тестовую документацию.

Элементы содержания и представления свидетельств

ATE_FUN.1.1C Тестовая документация должна состоять из планов и описаний процедур тестирования, а также ожидаемых и фактических результатов тестирования.

ATE_FUN.1.2C Планы тестирования должны идентифицировать проверяемые функции безопасности и содержать изложение целей тестирования.

ATE_FUN.1.3C Описания процедур тестирования должны идентифицировать тесты, которые необходимо выполнить, и включать в себя сценарии для тестирования каждой функции безопасности. Эти сценарии должны учитывать любое влияние последовательности выполнения тестов на результаты других тестов.

ATE_FUN.1.4C Ожидаемые результаты тестирования должны показать прогнозируемые выходные данные успешного выполнения тестов.

ATE_FUN.1.5C Результаты выполнения тестов разработчиком должны демонстрировать, что каждая проверенная функция безопасности выполнялась в соответствии со спецификациями.

Элементы действий оценщика

ATE_FUN.1.1E Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств.

ATE_FUN.2 Упорядоченное функциональное тестирование

Цели

Цель разработчика – демонстрировать, что все функции безопасности выполняются в соответствии со спецификациями. От разработчика требуется выполнить тестирование и представить тестовую документацию.

Дополнительная цель данного компонента – обеспечение структурирования тестирования таким образом, чтобы избежать циклической зависимости при подтверждении правильности проверяемых частей ФБО.

Замечания по применению

Хотя процедуры тестирования могут устанавливать предопределенные начальные условия тестирования на основе упорядочения тестов, они могут не иметь логического обоснования упорядочения. Анализ упорядочения тестов – важный фактор в определении адекватности тестирования, так как имеется возможность наличия ошибок, скрытых порядком выполнения тестов.

Зависимости отсутствуют.

Элементы действий разработчика

ATE_FUN.2.1D Разработчик должен протестировать ФБО и задокументировать результаты.

ATE_FUN.2.2D Разработчик должен представить тестовую документацию.

Элементы содержания и представления свидетельств

ATE_FUN.2.1C Тестовая документация должна состоять из планов и описаний процедур тестирования, а также ожидаемых и фактических результатов тестирования.

ATE_FUN.2.2C Планы тестирования должны идентифицировать проверяемые функции безопасности и содержать изложение целей тестирования.

ATE_FUN.2.3C Описания процедур тестирования должны идентифицировать тесты, которые необходимо выполнить, и включать в себя сценарии для тестирования каждой функции безопасности. Эти сценарии должны учитывать любое влияние последовательности выполнения тестов на результаты других тестов.

ATE_FUN.2.4C Ожидаемые результаты тестирования должны показать прогнозируемые выходные данные успешного выполнения тестов.

ATE_FUN.2.5C Результаты выполнения тестов разработчиком должны демонстрировать, что каждая проверенная функция безопасности выполнялась в соответствии со спецификациями.

ATE_FUN.2.6C Тестовая документация должна включать в себя анализ зависимостей от порядка выполнения процедуры тестирования.

Элементы действий оценщика

ATE_FUN.2.1E Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств.