1. Покрытие (ate_cov)

Цели

Семейство ATE_COV направлено на аспекты тестирования, которые имеют отношение к полноте охвата (покрытия) тестами. Таким образом, семейство связано с объемом тестирования ФБО, а также с выяснением, является ли тестирование достаточно всесторонним, чтобы демонстрировать выполнение ФБО в соответствии со спецификациями.

Ранжирование компонентов

Компоненты в этом семействе ранжированы на основе повышения строгости тестирования интерфейсов и анализа достаточности тестов для демонстрации, что ФБО выполняются в соответствии с их функциональной спецификацией.

ATE_COV.1 Свидетельство покрытия

Цели

Цель этого компонента состоит в том, чтобы установить, что ФБО были проверены на соответствие их функциональной спецификации. Это предполагается достичь путем экспертизы свидетельства о соответствии, представленного разработчиком.

Замечания по применению

Несмотря на то, что цель тестирования состоит в полном покрытии ФБО, для верификации этого утверждения не требуется обеспечить ничего, помимо неформального сопоставления тестов с функциональной спецификацией и собственно данных тестирования.

В этом компоненте от разработчика требуется показать, насколько идентифицированные тесты соответствуют описанию ФБО в функциональной спецификации. Это может быть достигнуто представлением соответствия (возможно, с использованием таблицы). Эта информация требуется для содействия оценщику в планировании программы тестирования при оценке. На этом уровне нет требований полного покрытия разработчиком каждого аспекта ФБО, поэтому необходимо, чтобы оценщик принял во внимание возможные пробелы в этой области.

Зависимости

ADV_FSP.1 Неформальная функциональная спецификация

ATE_FUN.1 Функциональное тестирование

Элементы действий разработчика

ATE_COV.1.1D Разработчик должен представить свидетельство покрытия тестами.

Элементы содержания и представления свидетельств

ATE_COV.1.1C Свидетельство покрытия тестами должно показать соответствие между тестами, идентифицированными в тестовой документации, и описанием ФБО в функциональной спецификации.

Элементы действий оценщика

ATE_COV.1.1E Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств.

ATE_COV.2 Анализ покрытия

Цели

Цель этого компонента состоит в том, чтобы установить, что ФБО были проверены на соответствие их функциональной спецификации систематическим методом. Это предполагается достичь путем экспертизы анализа соответствия, представленного разработчиком.

Замечания по применению

От разработчика требуется демонстрировать, что идентифицированные тесты включают в себя проверку всех функций безопасности, представленных в функциональной спецификации. При анализе следует не только показать соответствие между тестами и функциями безопасности, но также предоставить оценщику достаточную информацию для вынесения независимого заключения о том, насколько функции были проверены. Эта информация может быть использована при планировании дополнительных тестов оценщика. Хотя на этом уровне разработчик должен продемонстрировать, что каждая из функций в функциональной спецификации была проверена, исчерпывающее тестирование каждой функции не обязательно.

Зависимости

ADV_FSP.1 Неформальная функциональная спецификация

ATE_FUN.1 Функциональное тестирование

Элементы действий разработчика

ATE_COV.2.1D Разработчик должен представить анализ покрытия тестами.

Элементы содержания и представления свидетельств

ATE_COV.2.1C Анализ покрытия тестами должен демонстрировать соответствие между тестами, идентифицированными в тестовой документации, и описанием ФБО в функциональной спецификации.

ATE_COV.2.2C Анализ покрытия тестами должен демонстрировать полное соответствие между описанием ФБО в функциональной спецификации и тестами, идентифицированными в тестовой документации.

Элементы действий оценщика

ATE_COV.2.1E Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств.

ATE_COV.3 Строгий анализ покрытия

Цели

Цель этого компонента состоит в том, чтобы установить, что ФБО были проверены систематическим и исчерпывающим образом на соответствие их функциональной спецификации. Это предполагается достичь путем экспертизы анализа соответствия, представленного разработчиком.

Замечания по применению

От разработчика требуется предоставить убедительные аргументы, что идентифицированные тесты покрывают все функции безопасности, а тестирование каждой функции безопасности является полным. Оценщику останется мало возможностей для разработки дополнительных функциональных тестов интерфейсов ФБО, основанных на функциональной спецификации, поскольку они будут исчерпывающе проверены. Тем не менее, оценщику следует стремиться разработать такие тесты.

Зависимости

ADV_FSP.1 Неформальная функциональная спецификация

ATE_FUN.1 Функциональное тестирование

Элементы действий разработчика

ATE_COV.3.1D Разработчик должен представить анализ покрытия тестами.

Элементы содержания и представления свидетельств

ATE_COV.3.1C Анализ покрытия тестами должен демонстрировать соответствие между тестами, идентифицированными в тестовой документации, и описанием ФБО в функциональной спецификации.

ATE_COV.3.2C Анализ покрытия тестами должен демонстрировать полное соответствие между описанием ФБО в функциональной спецификации и тестами, идентифицированными в тестовой документации.

ATE_COV.3.3C Анализ покрытия тестами должен убедительно демонстрировать, что все внешние интерфейсы ФБО, идентифицированные в функциональной спецификации, полностью проверены.

Элементы действий оценщика

ATE_COV.3.1E Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств.