Повышение уровня динамических параметров
Некоторые веб-сайты используют динамические параметры для обработки некоторых веб-запросов. Динамический параметр — это параметр, значение которого воссоздается при каждом выполнении приложения пользователем. Примером динамического параметра является идентификатор сеанса. Идентификатор сеанса обычно изменяется каждые 5 — 30 минут. Во многих случаях веб-приложения отправляют динамические данные в значения параметров строк запроса и значения параметров отправки форм. Веб-тест может использовать такие созданные значения параметров, захватив их из HTTP-ответа с помощью правила извлечения и затем привязав их к последовательному HTTP-запросу. Подобные действия называют повышением уровня динамических параметров. Повышение уровня динамических параметров может предотвратить ряд ошибок воспроизведения. Средство записи веб-тестов и модуль воспроизведения автоматически обрабатывают большинство распространенных типов динамических параметров.
Некоторые типы динамических параметров не обнаруживаются. Неопределенный динамический параметр может приводить к ошибкам при выполнении веб-тестов производительности, поскольку динамические значения чаще всего изменяются при каждом запуске теста. Для правильной обработки этих параметров можно вручную добавить в веб-тесты производительности правила извлечения динамических параметров.
Свойства запроса веб-теста
Если выбрать любой web-запрос из дерева запросов, которое представлено файлом с расширением webtest, например файл ColorWebTest.webtest, то можно открыть свойства для каждого запроса с помощью клавиши F4:
Управление кэшем (Cache Control)
Это свойство используется для имитации свойства кэширование веб-страниц. Значение может быть true или false. Если оно имеет значение true, то кэширование включено. Это означает, что зависимые запросы получаются только один раз для последующих запросов. Например, файл изображения, используемый во всех веб-страницах загружается из источника только один раз и хранится в кэше для повторного использования для дальнейших запросов.
Если отключить кэширование, то зависимые запросы, загружаются из источника для каждого из запросов веб-страницы. Если это изображение, тогда тот же самый файл с изображением будет извлекаться для каждого запроса. Это свойство очень полезно для тестирования производительности путем выключения и включения кэширования. На основе результатов можно увидеть, кэшировать данные или нет. Это свойство устанавливается в основной запрос, но не в зависимые запросы основных запросов. Изображения, встроенные в web-страницы-это один из лучших примеров зависимых запросов.По умолчанию значение этого свойства равно False.
Кодировка (Encoding)
По умолчанию utf-8. Она может быть изменена, если нужна другая кодировка текстов.
Ожидаемый_код_состояния_HTTP (Expected HTTP Status Code) Можно установить ожидаемый код состояния для запроса. Например, если мы не хотим, чтобы определенный запрос мог быть найденным на сервере, нужно установить значение 404. Код ошибки 404 обозначает, что ресурс не найден. По умолчанию установлено значение 0, которое возвращает пройдено для состояния HTTP на уровне 200 или 300 и возвращает не пройдено, если состояние HTTP находится на уровне 400 или 500.
Ожидаемый URL-адрес ответа URL (Expected Response)
Это окончательный URL -адрес ответа, который ожидаем после текущего запроса и перенаправлений, если они будут сделаны. Так проверяется правильность ответа.
Следовать перенаправлениям (Follow Redirects)
Это свойство устанавливается в true или false в зависимости от того, хотим ли мы позволить перенаправления на страницы, сделанные по запросу, следовать им или нет. Если true, то запрос следует к перенаправленой веб-странице и проверяет, соответствует ли статус-код, ожидаемому значению_кода_состояния_HTTP (Expected http Status Code).Если ложь, то перенаправления не последуют.Например, если значения ожидаемый код_состояния_HTTP, установлено между 200 и 300 и Следовать перенаправлениям (Follow Redirects) имеет значение True, то конечный результат состояние запроса, после всех перенаправлений должен быть успешным.Код статуса на уровне 200 или 300 -это пройдено и код статуса на уровне с 400 или 500, это не пройдено.
Метод
Это свойство используется для установки метода запроса, используемого для текущего запроса. Это может быть GET или POST.
Разбирать зависимые запросы (Parse Dependent Requests) Это свойство может быть установлено в True или False для разбора зависимых запросов в запрашиваемой странице. Например, мы не хотим собирать подробные сведения об изображениях, загруженных в веб-страницу. Поэтому мы можем отключить запросы на загрузку изображений, установив это свойство в False. Только основные детали запроса будут собраны. Мы не должны путать это свойство со свойством Cache Control (Управление КЭШем). Кэш предназначен для отключения зависимых запросов после кэширования запроса впервые, а это свойство полностью устраняет зависимые запросы.
Записывать результаты (Record Results)
Это логическое значение, которое может иметь значение true, если данные о производительности должен быть собраны для данного HTTP-запроса. Это False, если данные не должны собираться.
Цель времени отклика (Response Time Goal)
Бывают ситуации, когда пользователям требуется, чтобы приложения реагировали быстро, без каких-либо задержек. Чтобы протестировать этот сценарий, мы можем установить в это свойство ожидаемое максимальное время ответа на запрос и затем протестировать страницы, чтобы найти те, которые не соответствуют требованиям. Это значение определяется в секундах. Значение по умолчанию-0, что означает свойство не установлено.
Время на обдумывание ( Секунды) Think Time(Seconds)
Время на обдумывание устанавливается для времени, необходимое пользователю на обдумывание между страницами. Это не точное время, которое пользователь может потратить на размышления, а только грубая оценка.
Рекордер автоматически записывает время на обдумывание в то же время, когда идет запись теста
Время ожидания (секунды) Timeout (Seconds)
Это максимальное время для запроса, необходимое для получения ответа. Если ответа не будет в рамках этого лимита, то имеет место ошибка, связанная с истечением отведенного времени. По умолчанию-300 секунд.
Версия (Version)
Здесь устанавливается версия HTTP, используемого для запроса. По умолчанию используется 1.1.
Url
URL-адрес запроса
ПРОСМОТР СВОЙСТВ ЗАПРОСА
Для просмотра свойств, связанных с каждым запросом, в дереве запросов можно выбирать различные узлы.
В редакторе веб-теста перейдите к дереву запросов и выберите http://www.contoso.com.
В окне Свойства обратите внимание на значения различных свойств, например URL-адрес, Следовать перенаправлениям и Время на обдумывание.
Обратите внимание, что значение параметра Время на обдумывание для запроса равно "0".
В редакторе веб-теста перейдите к дереву запросов и выберите запись, стоящую перед записью http://www.contoso.com.
Обратите внимание, что значение параметра Время на обдумывание для этого запроса больше 0 и составляет, например, 30 секунд. Это время, затраченное на ввод адреса http://www.contoso.com в адресную строку обозревателя.
УПРАВЛЕНИЕ КОНФИГУРАЦИЕЙ ТЕСТОВЫХ ЗАПУСКОВ
Ходом выполнения тестовых запусков можно управлять с помощью параметров, хранящихся в конфигурациях тестовых запусков. Параметры конфигураций тестовых запусков сохраняются на диске в файлах с расширением TESTRUNCONFIG. Можно создать и сохранить несколько конфигураций тестовых запусков, а затем сделать определенную конфигурацию активной. Именно эта конфигурация тестового запуска используется при выполнении тестов. Сведения о том, как сделать активной конфигурацию запуска, см. в разделе: «Применение конфигурации тестового запуска».
В процедурах этого раздела описываются различные аспекты работы с конфигурациями тестовых запусков. Первая группа процедур относится к созданию и удалению конфигураций запусков.
Во второй группе процедур объясняется, как задавать значения в конфигурациях запусков. Для установки этих значений используется редактор конфигурации тестового запуска — диалоговое окно, которое содержит следующие страницы.
Общие. На этой странице задается имя конфигурации тестового запуска, а также необязательное текстовое описание. Здесь также можно указать схему для создания имен тестовых запусков, которые используются для идентификации тестовых запусков в окне "Результаты теста".
Контроллер и агент. Можно настроить группу компьютеров для моделирования нагрузки для тестирования. Группа состоит из одного контроллера и одного или нескольких агентов. Вместе группа называется платформой. Агент является частью платформы, используемой для запуска тестов и моделирования нагрузки. Контроллер — это часть тестовой платформы, используемая для координации агентов и сбора результатов тестирования. Здесь можно выбрать способ выполнения тестов: на локальном компьютере или удаленно с помощью контроллера теста. При локальном выполнении тестов можно осуществлять отладку тестов и рабочего кода. В удаленных тестовых запусках использование интегрированных средств отладки невозможно.
Возможности контроллера и агента доступны только в Visual Studio Team System Test Load Agent, но недоступны в Visual Studio Team System.
Покрытие кода. На странице покрытия кода задаются объекты для инструментирования: DLL-библиотеки, EXE-файлы или каталоги (в случае проектов ASP.NET). Здесь также можно указать, следует ли выполнять инструментирование на месте и как повторно подписывать файлы. Данный процесс начинается с создания копии библиотеки DLL. Затем эта библиотека изменяется, то есть инструментируется таким образом, чтобы во время тестовых запусков собирались статистические данные о покрытии кода. Дополнительные сведения см. в разделе: «Получение данных о покрытии кода».
Развертывание. Перед выполнением тестов среда Visual Studio может скопировать их в каталог развертывания, чтобы обеспечить изоляцию тестовых запусков и более высокую надежность результатов. Страница "Развертывание" используется для управления развертыванием двумя способами. Можно включить или выключить развертывание, установив или сняв флажок Отключить развертывание. Кроме того, можно указать дополнительные файлы и каталоги, которые необходимо скопировать в каталог развертывания. Дополнительные сведения см. в разделе: «Общие сведения о развертывании тестов».
Хосты.
Если модульные тесты должны выполняться в том же процессе, что и узел ASP.NET, выберите вариант ASP.NET. При выборе ASP.NET можно установить дополнительные параметры для настройки выполнения тестов ASP.NET.
Для всех других типов тестов, включая веб-тесты, следует выбрать вариант По умолчанию.
Сценарии установки и очистки. На этой странице можно выбрать сценарии, которые должны быть запущены перед выполнением тестов и после их завершения, соответственно. Чтобы определить сценарий, введите путь к нему в поле Сценарий настройки или Сценарий очистки. Вместо ввода пути можно нажать кнопку с многоточием (…). Откроется диалоговое окно Открытие, в котором можно выбрать файл сценария.
Сценарии установки и очистки выполняются до и после тестовых запусков вне зависимости от типов тестов, включенных в эти тестовые запуски. Дополнительные сведения о сценариях, выполняемых вместе с тестовыми запусками, см. в разделе Общие сведения о развертывании тестов.
Время ожидания тестов. Эта страница используется для задания значений тайм-аутов для тестов. Дополнительные сведения см. в разделе: «Установка ограничений по времени для выполнения тестов».
Веб-тест. Здесь устанавливаются значения, используемые при выполнении веб-тестов. Дополнительные сведения см. в разделе: "Установка значений времени обработки в веб-тесте
ПРИМЕНЕНИЕ КОНФИГУРАЦИИ ТЕСТОВОГО ЗАПУСКА
Добавление последующей конфигурации тестового запуска в решение
В обозревателе решений щелкните правой кнопкой мыши папку Элементы решения и последовательно выберите пункты Добавить и Новый элемент.
Откроется диалоговое окно Добавление нового элемента.
В области Категории выберите пункт Конфигурация тестового запуска.
(Необязательно) В поле Имя измените имя файла конфигурации тестового запуска.
Нажмите кнопку Добавить.
В обозревателе решений появится новый файл конфигурации тестового запуска, расположенный в папке Элементы решения.
Откроется диалоговое окно <имя файла конфигурации запуска>.testrunconfig.
Теперь можно задать и сохранить значения параметров конфигурации запуска.
Удаление последующей конфигурации тестового запуска из решения
В узле "Элементы решения" обозревателя решений щелкните правой кнопкой мыши конфигурацию тестового запуска, которую необходимо удалить, и нажмите кнопку Удалить.
Файл конфигурации запуска удаляется из решения. Это изменение отражается в списках Выбрать активную конфигурацию тестовых запусков и Изменить конфигурации тестовых запусков меню Тест.
Установка
значений конфигурации тестового запуска
Изменение конфигурации в открытом решении
В узле "Элементы решения" обозревателя решений дважды щелкните файл конфигурации тестового запуска, который необходимо открыть.
либо
В меню Тест выберите команду Изменить конфигурации тестовых запусков, а затем в подменю выберите конфигурацию запуска.
Конфигурация запуска откроется для редактирования.
Внесите изменения на отдельных страницах, чтобы настроить каждый аспект конфигурации запуска. Дополнительные сведения см. в описании каждой страницы ранее в этом разделе.
Нажмите кнопку Применить, а затем кнопку Закрыть.
ПОЛУЧЕНИЕ ДАННЫХ О ПОКРЫТИИ КОДА
Эффективность тестов можно проверить построчно или даже поблочно. Для этого тестовые запуски настраиваются на вывод данных о покрытии кода. Итоговые данные отображаются в окне "Результаты покрытия кода".
Сбор данных о покрытии кода осуществляется после инструментирования артефактов (обычно двоичных файлов) и их загрузки в память во время выполнения теста. В разделе Получение данных о покрытии кода описан выбор файла для инструментирования. По умолчанию покрытие кода измеряется при выполнении модульных тестов. Поэтому при выполнении модульных тестов действия, описанные в разделе Получение данных о покрытии кода, необходимо осуществлять, только если покрытие кода отключено или требуется инструментировать дополнительные артефакты, чтобы собрать данные о покрытии кода для них.
По завершении тестового запуска можно просмотреть данные о покрытии кода; дополнительные сведения см. в разделе Просмотр данных о покрытии кода.
Получение данных о покрытии кода:
Создайте тесты для кода. Это могут быть модульные тесты или тесты других типов, использующие код, для которого имеются символы и для которого выбраны соответствующие двоичные файлы для инструментирования.
Откройте конфигурацию тестового запуска, которая будет использоваться для модульных тестов.
Щелкните Покрытие кода.
В разделе Выбрать артефакты для инструментирования выберите DLL решения, исполняемый файл или каталог. Например, для решения "ClassLibrary1" установите флажок для сборки "ClassLibrary1.dll", имеющей следующий путь: каталог_решения>\ClassLibrary1\bin\Debug. Можно также выбрать библиотеку DLL, содержащую файлы тестового проекта. При этом будут созданы данные о покрытии кода для методов в тестовом проекте, а не только для методов в рабочем коде.
Нажмите кнопку Применить, а затем кнопку Закрыть.
Выполните один или несколько тестов.
Во время выполнения тестов происходит сбор данных о покрытии кода.
Просмотр данных о покрытии кода
В панели инструментов Результаты теста щелкните Результаты покрытия кода. Или в меню Тест выберите пункт Окна, а затем Результаты покрытия кода.
Откроется окно Результаты покрытия кода.
В окне Результаты покрытия кода в столбце Иерархия отображается один узел, содержащий все данные о покрытии кода, полученные в результате последнего тестового запуска. В случае возникновения ошибки сообщение об ошибке будет отображено в этом месте, а не в корневом узле. Если узел отображается, разверните его.
В рабочем коде разверните узел для сборки, для пространства имен и для класса.
Строки в классе представляют его методы. В столбцах этой таблицы содержатся статистические данные для отдельных методов, для классов и для всего пространства имен.
Дважды щелкните строку для одного из методов класса.
Откроется файл исходного кода с выбранным методом. В этом файле будет выделен код. Воспользовавшись прокруткой, можно увидеть покрытие для других методов в файле. Чтобы изменить цвет линий кода, см. раздел: «Изменение способа отображения данных о покрытии кода».
(Необязательно) При установке флажка для DLL тестового проекта можно открыть файл исходного кода, содержащий модульные тесты, и просмотреть использовавшиеся методы тестирования.
Отображение различных расчетов покрытия кода
Расчеты покрытия кода отражают суммарные значения покрытия кода в виде столбцов в окне "Результаты покрытия кода". Можно использовать до восьми столбцов для отображения расчетов для кода, который был охвачен при тестовых запусках, а также для кода, который не был охвачен. Можно использовать столбцы, в которых расчеты отображаются в виде процентного или числового суммарного значения. Можно также использовать столбцы, в которых расчеты отображаются для строк и блоков кода.
Отображение или скрытие столбца данных о покрытии кода
Щелкните правой кнопкой мыши любой элемент данных в окне Результаты покрытия кода.
Нажмите кнопку Добавить или удалить столбцы.
Установите флажки, соответствующие элементам, которые нужно отображать, и снимите флажки, соответствующие элементам, которые нужно удалить.
Нажмите кнопку "ОК".
Изменение выделения цветом данных о покрытии кода
По умолчанию для обозначения области покрытия кода выполненными тестами используются определенные цвета. Голубые линии означают область выполнения теста, а красновато-коричневые линии означают область, где тест выполнен не был. Области внутри бежевых линий означают места, где часть кода была выполнена, а часть — нет.
Изменение способа отображения данных о покрытии кода
В меню Сервис выберите пункт Параметры.
Откроется диалоговое окно Параметры.
Разверните узел Среда.
Выберите Шрифты и цвета.
В поле со списком Параметры для выберите вариант Текстовый редактор.
В разделе Отображаемые элементы выберите область покрытия кода, цвет которой нужно изменить. Существуют следующие варианты выбора: Области вне области действия, Области частично в области действия и Области в области действия.
Измените параметры для данной области покрытия кода. Можно изменить основной и фоновый цвета, шрифт, размер шрифта и полужирное начертание текста.
(Необязательно) Измените параметры для других областей покрытия кода.
По завершении нажмите кнопку ОК.
ОБЩИЕ СВЕДЕНИЯ О РАЗВЕРТЫВАНИИ ТЕСТОВ
В зависимости от установок конфигурации тестового запуска Visual Studio Team System Test Edition выполняет тесты либо в папке, в которой они были созданы, либо в отдельной папке развертывания. Разрешение на выполнение развертывания теста устанавливается в параметрах конфигурации тестового запуска.
Разделение, осуществляемое в результате развертывания теста, обеспечивает более четкое выполнение теста и, следовательно, получение более точных результатов. На этапе развертывания, Test Edition копирует элементы развертывания, такие как файлы и папки, в папку развертывания перед выполнением тестов. Test Edition копирует файлы следующих типов.
Двоичный файл теста, например, сборка, построенная из тестового проекта, или двоичный файл обычного теста.
Все зависимые сборки. Указанные файлы, такие как XML-файлы и файлы конфигурации, от которых зависит тест. Для настройки развертывания следует указать дополнительные элементы развертывания для копирования и изменить папку развертывания.
Существует два варианта развертывания: локальный и удаленный.
Локальный тестовый запуск. По умолчанию тесты выполняются локально на компьютере, на котором установлен пакет Visual Studio. В этом случае элементы развертывания и двоичные файлы теста копируются и выполняются в локальной папке развертывания.
Удаленный тестовый запуск. Удаленное выполнение осуществляется с помощью агентов и контроллеров. Сначала элементы развертывания копируются в локальную папку развертывания, указанную как папку [Out] для текущего тестового запуска; Затем они копируются на компьютере контроллера в папку развертывания, из которой они копируются в папку развертывания на одном или нескольких компьютерах агентов. После этого тесты выполняются на компьютерах агентов и происходит возврат результатов.
УСТАНОВКА ОГРАНИЧЕНИЙ ПО ВРЕМЕНИ ДЛЯ ВЫПОЛНЕНИЯ ТЕСТОВ
Можно установить ограничения по времени, которые будут соблюдаться при выполнении теста или тестового запуска. Это может потребоваться, например, если тестовый запуск необходимо завершить в определенное время дня.
Другим случаем использования ограничений по времени является ситуация с неотвечающим кодом. Если тест обнаруживает раздел кода, который не отвечает, использование времени ожидания теста позволяет завершить отдельный тест и продолжить тестовый запуск выполнением последующих тестов.
Установка времени ожидания тестового запуска.
Откройте обозреватель решений.
В папке "Элементы решения" дважды щелкните файл конфигурации тестового запуска.
Откроется диалоговое окно конфигурации тестового запуска.
Щелкните Время ожидания тестов.
Установите флажок Прервать тестовый запуск, если превышено общее время выполнения:
Задайте значение тайм-аута тестового запуска в формате "часы:минуты:секунды".
Нажмите кнопку Сохранить, затем нажмите кнопку Закрыть.
Чтобы данная установка вступила в силу, измененный файл конфигурации тестового запуска должен являться активной конфигурацией запуска.
Установка времени ожидания тестового запуска с помощью конфигурации тестового запуска
Откройте обозреватель решений.
В папке "Элементы решения" дважды щелкните файл конфигурации тестового запуска.
Откроется диалоговое окно конфигурации тестового запуска.
Щелкните Время ожидания тестов.
Установите флажок Пометить отдельный тест как ошибочный, если превышено общее время выполнения
Задайте значение потестового тайм-аута в формате "часы:минуты:секунды".
Нажмите кнопку Сохранить, затем нажмите кнопку Закрыть.
Чтобы данная установка вступила в силу, измененный файл конфигурации тестового запуска должен являться активной конфигурацией запуска.
Установка времени ожидания тестового запуска с помощью свойства теста
Откройте редактор списка тестов или окно представления теста.
Выделите тест и нажмите клавишу F4.
Откроется окно "Свойства" со свойствами данного теста.
Свойству Время ожидания задайте значение в формате "часы:минуты:секунды".
Только в этом тесте заданное значение переопределяет потестовое значение времени ожидания, указанное в конфигурации тестового запуска. Потестовое значение времени ожидания не затрагивается.
УСТАНОВКА ЗНАЧЕНИЙ ВРЕМЕНИ НА ОБДУМЫВАНИЕ В ВЕБ-ТЕСТЕ
Время на обдумывание (обработки) — это время, затраченное пользователем на изучение веб-страницы, в том числе на просмотр ее содержимого и определение следующего действия. Время на обдумывание не включает время, необходимое для загрузки страницы.
При записи веб-теста значения времени на обдумывание записываются для каждой веб-страницы. Позднее при выполнении веб-теста время на обдумывание можно либо использовать, либо не учитывать. Включение и выключение использования времени на обдумывание осуществляется с помощью кнопки Время на обдумывание в Представлении веб-теста.
Значения времени на обдумывание (обработки) очень важны во время нагрузочных тестов, поскольку они определяют скорость выполнения теста. Необходимо проверить записанные значения времени обработки для веб-тестов и убедиться, что они точно отражают реальные значения времени ожидания. Очень легко ошибиться в процессе записи сеанса и получить непредвиденно большие значения времени обработки, которые окажут отрицательное влияние на нагрузочный тест. Чтобы избежать этой проблемы, нужно приостанавливать средство записи.
Изменение времени на обдумывание (обработки) запроса в веб-тесте
Откройте тестовый проект, содержащий веб-тест.
Из тестового проекта откройте веб-тест. Веб-тест откроется в редакторе веб-тестов.
В Редакторе веб-тестов выберите запрос, для которого требуется изменить свойство Время на обдумывание.
В окне "Cвойства" задайте для свойства "Время на обдумывание " соответствующее значение в секундах. Для отображения окна "Свойства" нажмите клавишу F4.
В меню Файл выберите пункт Сохранить. Нажмите кнопку Выполнить в представлении веб-теста, чтобы запустить веб-тест в новым значением времени на обдумывание.
Выполнение веб-теста для проверки правильности его работы
Теперь веб-тест можно выполнить, чтобы проверить правильность его работы Каждый записанный веб-запрос будет воспроизведен, а его результаты собраны.
Проверка веб-теста:
1. В редакторе веб-тестов в панели инструментов нажмите Выполнить тест.
Тест будет запущен, а в средстве просмотра веб-тестов будут выведены все запросы в тесте. Результаты выполнения всего теста отображаются в окне Результаты веб-теста (см. раздел «Просмотр веб-теста»). Далее предстоит проверить результаты.
2. В средстве просмотра веб-тестов выберите первый запрос в списке.
Слева от запроса должен появиться значок в виде зеленой галочки. Он означает успешное выполнение запроса. В нижней области должна появиться первая страница веб-приложения.
3. В средстве просмотра веб-тестов выберите запрос по адресу http://www.contoso.com.
Слева от запроса должен появиться значок в виде зеленой галочки или красный значок "X". Красный значок означает, что произошла ошибка запроса. Она приведет к сбою результатов всего теста после того, как тест будет завершен. По умолчанию при возникновении ошибки запроса оставшаяся часть теста продолжает выполняться. Например, внешний веб-запрос по адресу http://www.contoso.com может завершиться неудачей в связи с проблемами межсетевого экрана. Однако после этого запрос на Default.aspx выполняется успешно. Если доступ к веб-узлам из-за пределов локальной сети невозможен, в веб-тесте может потребоваться указать прокси-сервер.
4. Чтобы выполнить веб-тест во второй раз, в верхней части редактора веб-теста щелкните в поле Щелкните здесь, чтобы выполнить еще раз.
