Отчет и статистика нагрузочного тестирования в SoapUi
Мы уже видели результаты нагрузочных тестов, произведенные в SoapUI при разных стратегиях нагрузки. Тем не менее, мы не обсуждали, что значит каждая из цифр и как читать различные графики. После каждого выполнения нагрузочного теста, SoapUI создает таблицу статистики со следующими полями для каждого TestStep а также итоговую строеку для общего TestCase:
min: определяет минимальное время отклика, принятое TestStep
max: определяет максимальное время отклика
avg: определяет среднее время отклика
last: определяет среднее время отклика для последнего пробега
cnt: определяет общее количество раз выполнения TestStep
tps: определяет количество транзакций в секунду
bytes: определяет общее число переданных байтов
bps: определяет число байт в секунду
err: определяет количество возникших ошибок
rat: определяет процент неудачных запросов
Вы можете запустить несколько нагрузочных тестов с различными стратегиями и собирать статистику такую как значения tps, bps, и avg и использовать ее в качестве исходных показателей производительности для ваших веб-сервисов.
В дополнение к таблице статистики, существует вкладка LoadTest Log внизу окна нагрузочного тестирования. Здесь можно фильтровать результаты испытаний нагрузки по видам и шагам. Также можно щелкнуть правой кнопкой мыши на каждом из неудачных TestSteps и выбрать опцию Show Message Exchange, чтобы посмотреть на запрос и ответ для дебагинга. Если нагрузочный тест включает в себя несколько TestSteps, вы можете просмотреть журнал отдельных TestSteps в правом углу панели инструментов LoadTest Log. Это можно сделать, выбрав соответствующую шаг в раскрывающемся меню Show Steps.
Графики
По умолчанию, нагрузочные тесты в SoapUI генерируют два полезных статистических графика на основе описанной выше таблицы статистики. График используется, чтобы показать отклонения параметров tps и bps нагрузочного теста. Давайте запустим тест со стратегией thread, используя от 1 до 20 потоков в течении 5 минут и посмотрим на получившийся график.
Если вы посмотрите на статистику графа с параметрами по умолчанию, вы можете четко наблюдать как среднее время ответа и значения TPS и BPS изменяются с увеличением числа потоков. Если TestCase включает в себя более одного TestStep, статистика по отношению к конкретному TestStep может быть отфильтрованы по Select Step в выпадающем меню в верхнем левом углу панели инструментов статистики. В раскрывающемся меню Resolution используется для установки частоты обновления графика. По умолчанию, данные графика обновляются с той же периодичностью что и таблица. Вы должны также иметь в виду, что графики показывают относительные данные и не отображают точные статистические данные, связанные с выполнением TestCase.
Поэтому, если вы хотите проанализировать точные статистические данные, вы должны использовать данные из таблицы. График может быть использован, чтобы визуализировать изменения производительности сервиса. Вы также можете экспортировать данные статистики в файл и обратиться к нему позже. Данные, будут сохранены в виде файла CSV, так что можно будет использовать любой инструмент для обработки и анализа графика.