57. Вопросы автоматизации тестирования. Инструменты тестирования.

Видимо обращайтесь к Марианне.

Автоматизация обходится дорого. Это и более квалифицированные специалисты,

и дополнительное время на разработку. Может уйти от 3-х до 10-ти раз больше

времени на разработку, отладку, проверку и документирование автоматических

тестовых случаев по сравнению с тестовыми случаями для ручного

тестирования. Вот почему так важно просчитывать выгоду, выбирать

правильные типы тестов для автоматизации, и планировать эту деятельность.

В большинстве случаев для оценки выгоды от автоматизации вполне достаточно

простой арифметики и оценки только временных затрат (без расчета общего

экономического эффекта). Если есть существенный выигрыш - значит

автоматизация стоит того, чтобы ей заниматься. При оценке затрат

(подразумевается что тесты для ручного тестирования уже разработаны и

документированы) нужно лишь учитывать следующие величины:

• Время на проход теста вручную

• Количество таких проходов

• Время на разработку и отладку автоматического теста

• Время его работы

• Время на исправление скрипта при изменениях в приложении

И тогда простые арифметические действия дадут нам желаемую картину - стоит автоматизировать или нет.

Капитан не прошёл мимо:

Прежде, чем начинать автоматизацию, нужно определиться с вопросами:

• Что будем тестировать?

• Что нужно для проведения теста?

• Откуда будем брать данные?

• Что проверятся?

• Что ожидается?

• Как узнаем - прошел тест или нет?

Требования, предъявляемые к автоматическим тестам

Тест должен "сам тестировать", то есть не только эмулировать действия

пользователя с программой, но и производить необходимые проверки.

Стоит также упомянуть такой важный аспект, как синхронизация. Когда

человек работает с приложением, он соотносит свои действия с реакцией

приложения - если оно занято, он ждет. Автоматический тест должен уметь

делать то же самое, и к тому же есть дополнительное требование - тест должен

с минимальными изменениями одинаково хорошо работать и на "медленной"

версии приложения, так и на "быстрой".

Инструменты:

1) Прежде всего – это PureCoverage. Этот инструмент позволяет

разработчикам довести собственные программы до состояния эффективности,

избавиться от многих ошибок и неприятностей. Основная функция – выявление

участков кода, которые пропущены при тестировании (ни разу не

выполнялись), или, например, выявить функции, которые не вызывались.

Дополнительно собирается статистика о тестировании.

2). Для высокоуровневого тестирования, такого как: тестирование

интерфейса, тестирование компонент приложений клиент-сервер и т. п.

используются такие продукты как Visual Test, Robot и Load Test.

2.1) Visual Test – интерфейс точно такой же, как в Visual Studio от

Microsoft. Можно тестировать Windows приложения, компоненты ActiveX,

DLL, приложения на основе Web, т.е. практически любые задачи. Тесты

создаются на специальном языке Test Basic (производный от Visual Basic).

2.2) Robot – средство функционального тестирования, которое базируется

на объектно-ориентированной технологии. Можно с его помощью тестировать

отдельные классы, можно группу классов тестировать, можно все объекты

приложения целиком (системное тестирование).

2.3) Load Test – для тестирования характеристик распределенных

сетевых приложений на платформах Windows и Unix. Используется при

тестировании нагрузки сервера большим количеством виртуальных

пользователей и засекается время выполнения каждого запроса пользователя.

41