Использование операторов контроля (assertion) в нагрузочных тестах soapUi
Assertion являются обязательными для автоматизированных тестов, независимо от характера испытаний. Как и при функциональном тестировании, мы должны использовать соответствующие Assertion для нефункциональных испытаний. SoapUI позволяет настроить утверждения чтобы проверить производительность тестируемых веб-услуг. В этом разделе мы опишем, как можно использовать различные типы тестов нагрузки, связанные с Assertion.
SoapUI дает нам пять различных Assertion для использования с нагрузочными тестами. К ним относятся следующие:
Max Errors
Step Average
Step TPS
Step Maximum
Step Status
Можно настроить Assertion с использованием трех различных подходов:
Выберите вкладку LoadTest Assertions в нижней части редактора нагрузочного теста. Затем, добавьте утверждение, выбрав значок добавления утверждения в верхнем левом углу вкладки LoadTest Assertions.
Щелкните правой кнопкой мыши на вкладке LoadTest Assertions и выберите Add Assertion
Щелкните правой кнопкой мыши на отдельном TestStep в таблице и выберите Add Assertion.
Оператор контроля Max Errors
Max Error Assertion, можно использовать для проверки того, не превышают ли в соответствующем TestCase или TestStep максимальное или относительное количество ошибок. Если вы выберите Max Error из окна выбора Add Assertion, то появится форма, в которой можно задать параметры для этого Assertion. Максимальное количество ошибок может быть использовано для указания максимального количество ошибок, которые тест может принять для удачного прохождения (если ошибок больше, тест считается непройденным).
Давайте выберем такие параметры Max Error Assertion
Max absolute errors= 30
Max relative errors= 1
TestStep= Any
Начните тест и через несколько секунд остановите какой-то из компонентов, обеспечивающих работу веб-сервиса. Появятся ошибки и когда число ошибок превысит 30, появится сообщение об ошибке:
LoadTest failed; Maximum number of errors [30] exceeded
Оператор контроля Step Average
Step Average assertion может быть использован для определения среднего времени шага в TestStep или TestCase в нагрузочном тесте. Необходимо указать следующие параметры для Step Average assertion::
Name: любое понятное имя.
Minimum Requests: Здесь должно быть указано количество запросов которые должны быть обработаны SoapUI, перед применением утверждение
Max average: Максимально допустимое значение среднего времени вополнения шага. Если среднее значение превышает это, то ситуация будет классифицирована как ошибка.
Max errors: Определяет максимальное число допустимых ошибок допускается до классификации теста как проваленного. Если мы установим значение -1 тест не будет считаться неудачным, а ошибки будут записаны в LoadTest Log.
Sample Interval: Step Average не может быть измерен с применением assertion к каждому TestStep. Вместо этого, assertion применяется в определенных интервалах. Предположим, интервал выборки установлен на 10, в таком случае, assertion будет применяться к каждому 10 секундному интервалу, чтобы проверять, превышает ли фактическая средняя Max average.
Задайте следующие параметры для Step Average assertion
Minimum Requests: 20
Max Average: 1
Max errors: 10
Sample Interval: 10
При запуске нагрузочного теста сообщение об ошибке появится после получения 10 ошибок