Глава 14: Управление группой тестирования 437

Еще один пример: агентство, получившее $250 тыс. за тестирование продукта средней сложности, практически не проработало его вы­ходные документы. Убедившись, что программа правильно вычисля­ет выходные значения, сотрудники не удосужились проверить, как она отображает эти значения в графиках и диаграммах, где оказал­ся целый ряд серьезных ошибок.

• Агентства могут не обеспечивать достаточного контроля и под­держки тестовых работ проекта. Не думайте, что, как только подписан контракт с независимым агентством, собственных тести­ровщиков можно тут же перебросить на другой проект. Каким бы хорошим ни было агентство, кто-то должен контролировать его работу, взаимодействовать с его сотрудниками, обучая их принятым в компании стандартам, изучать найденные ими ошибки и следить, чтобы проблемы, о которых они сообщают, вовремя решались.

• Вовсе не обязательно, что агентство поможет вам реалистичес­ки спланировать бюджет тестирования. Заключая договор на два цикла тестирования, планируйте, что потребуется еще и третий, четвертый и т.д. Кроме того, не ждите, что продукт будет протести­рован за меньшее количество циклов, чем понадобилось бы вашей собственной группе.

• Обычно агентство недостаточно знает тестируемый программ­ный продукт. Оно может не знать, как должны работать подобные программы, каковы преимущества вашей, не знают требований рын­ка и того, на какие уступки конструкторы продукта готовы пойти, а на какие — нет. Независимые тестировщики плохо представляют себе процесс реальной эксплуатации продукта и не знают, в чем пользователь может нагружать программу до предела и какие гра­ничные значения данных он может попытаться превысить.

Итак, продумайте, что вы хотите получить от тестового агентства. Уч­тите, что все это будет стоить немалых денег и времени. Решите, нужны ли вам полностью документированные тестовые материалы, пригодные для повторного использования. Как насчет автоматизированных тестов? Воз­можно, все, что вам требуется, — это несколько циклов основательного тестирования без подробных сопроводительных материалов. Только четко определив свои нужды и приоритеты, можно приступать к поиску соответ­ствующего тестового агентства и переговорам о контракте.

В целом, на наш взгляд, результаты работы независимых тестовых агентств можно назвать посредственными. Кое-что они делают неплохо, и многие компании успешно пользуются их услугами.

У независимых тестовых агентств есть и определенные достоинства. В частности, их услуги можно использовать как основу для собственной

438 Часть III: Управление проектами и группами

работы. Вместо того чтобы платить за длительное тестирование, можно заказать агентству разработку плана тестирования, наборов тестов и пред­ложений по дальнейшей работе. Это задание достаточно сложное, и аген­тству придется поручить его своим лучшим специалистам. Однако вы получите то, за что заплатите. У специалистов агентства наверняка гораз­до больший опыт тестирования, чем у вас, они работали с большим коли­чеством разнообразных типов программного обеспечения и могут предложить тесты для выявления проблем, которые вам никогда и в голо­ву бы не пришли, или же интересные и нестандартные способы анализа и тестирования программы. Объединив их работу со своей, можно получить прекрасные результаты, а заодно и кое-чему научиться.

Последняя рекомендация: заключая контракт с тестовым агентством, назначьте для тестирования продукта и несколько собственных сотрудни­ков. Их работа будет заключаться в следующем.

• Воспроизводить каждую ошибку, найденную сотрудниками агентства. При необходимости ваш персонал должен дополнять отчеты, чтобы четкость описания ошибок соответствовала стандартам компании.

• Искать связанные проблемы. Это отнюдь не дублирование работы агентства. Ваш персонал знает продукт и его разработчиков гораздо лучше, а значит, знает, где искать проблемы и какими они могут быть.

• Критически анализировать пользовательский интерфейс программы

независимо от того, входит ли это в обязанности сторонних тести­ровщиков. Цели компании и стиль ее продуктов известны вашим сотрудникам лучше, чем сотрудникам агентства, которым трудно судить, соответствует ли данный сомнительный аспект программы стандартам компании или это явная недоработка.

• Оценивать охват продукта проводимым тестированием. Все ли важные аспекты и области программы тестируются сотрудниками агентства? Ищутся ли все возможные типы ошибок? В одних случаях ваши сотрудники будут указывать на слабые места в работе тести­ровщиков агентства, в других — разрабатывать и выполнять недоста­ющие тесты самостоятельно.

Итак, независимое тестовое агентство не решает всех проблем компа­нии и не может от начала и до конца взять на себя ответственность за полноценное тестирование продукта. Найм сторонних специалистов может служить лишь дополнением к вашей собственной работе. Будет ли это дополнение значительным или совсем небольшим, ответственность за ка­чество тестирования целиком лежит на вас и компании все равно необхо­дим персонал, контролирующий работу тестового агентства и выполняющий то, чего агентство сделать не может.