17. Тестирование

Квалификационные испытания программных средств состоит из следующих задач применительно к каждому программному объекту архитектуры (или объекту программной конфигурации, если он определен):

Разработчик должен проводить квалификационные испытания (тестирование) на соответствие квалификационным требованиям к программному объекту. При проведении испытаний должно быть обеспечено, чтобы реализация каждого установленного требования к программному объекту была проверена на соответствие. Результаты квалификационных испытаний должны быть документально оформлены.

Разработчик, при необходимости, должен уточнить документацию пользователя.

Разработчик должен оценить проект, запрограммированный программный объект, проведенные испытания, результаты испытаний и документацию пользователя по следующим критериям (при этом результаты оценок должны быть документально оформлены):

a) тестовое покрытие требований к программному объекту;

b) соответствие ожидаемым результатам;

c) возможность сборки и тестирования системы (при их проведении);

d) возможность эксплуатации и сопровождения.

Разработчик должен:

a) доработать (при необходимости) и соответствующим образом подготовить поставляемый программный продукт к сборке системы, квалификационным испытаниям системы, вводу программного продукта в действие или к обеспечению приемки программного продукта;

b) определить состояние конфигурации (базовую линию) проекта и программ данного программного объекта.

Примечание - Квалификационное испытание может быть выполнено в процессах верификации (подраздел 6.4) или аттестации.

Сборка системы состоит из следующих задач, которые разработчик должен выполнить или обеспечить их выполнение.

Объекты программной конфигурации должны быть собраны в единую систему вместе с объектами технической конфигурации, ручными операциями и, при необходимости, с другими системами. Собранная система должна быть испытана на соответствие установленным требованиям. Результаты сборки и испытаний системы должны быть документально оформлены.

Для каждого квалификационного требования к системе должны быть разработаны и документально оформлены: состав испытаний и контрольных примеров (исходные и выходные данные, критерии испытаний); процедуры проведения квалификационных испытаний системы. Разработчик должен обеспечить, чтобы собранная система была готова к квалификационным испытаниям.

Собранная система должна быть оценена по следующим критериям (при этом результаты оценок должны быть документально оформлены):

a) тестовое покрытие требований к системе;

b) соответствие методов тестирования и используемых стандартов;

c) соответствие ожидаемым результатам;

d) выполнимость квалификационных испытаний системы;

e) возможность эксплуатации и сопровождения.

Квалификационные испытания системы должны быть проведены в соответствии с квалификационными требованиями, установленными к системе. Должно быть обеспечено, чтобы реализация каждого требования к системе была испытана на соответствие установленным значениям и чтобы система была готова к поставке. Результаты квалификационных испытаний должны быть документально оформлены.

Система должна быть оценена по следующим критериям (при этом результаты оценок должны быть документально оформлены):

a) тестовое покрытие требований к системе;

b) соответствие ожидаемым результатам;

c) возможность эксплуатации и сопровождения.

Разработчик должен обеспечить проведение аудиторской проверки(ок). Результаты аудиторской проверки(ок) должны быть документально оформлены.

После успешного завершения аудиторских проверок, если они проводились, разработчик должен:

a) доработать и подготовить поставляемый программный продукт для обеспечения приемки и ввода его в действие;

b) определить состояние конфигурации (базовую линию) проекта и программ каждого объекта программной конфигурации.

Описание контрольного примера включает описание:

• тестовых данных, которые необходимы для проверки работоспособности основных функций реализованного проекта (данные для заполнения справочников, данные для заполнения файлов оперативной информации). Приведенные тестовые данные должны быть введены в соответствующие поля форм ввода и показаны в приложениях (экранные формы с тестовыми данными).

• процесса обработки тестовых данных (различные сообщения и другие элементы диалога, который возникает в процессе обработки). Данное описание также показывается в приложении.

• результатов обработки тестовых данных (рассчитанные показатели, сформированные ведомости, отчеты и т.п.). Результаты также должны быть отображены в соответствующих приложениях.

Особое внимание следует обратить на правильность полученных результатов обработки тестовых данных, а именно – полученные данные должны быть проверены на правильность расчета по приведенным формулам в разделе «Формализация расчетов».