Глава 6: Система отслеживания проблем 151

• Кто документирует больше ошибок: тестировщики, технические писатели, группа технической поддержки или руководитель проек­та? Обычно больше всего ошибок находят тестировщики, однако многие проблемы выявляет и руководитель проекта или его помощ­ник. Помощник руководителя проекта тестирует продукт независи­мо и не так, как это делают тестировщики: он пытается работать с программой как обычный пользователь, ориентируясь не на поиск ошибок по строго заданной схеме, а скорее, на недостатки общего функционирования. Если такая работа выполняется в течение не­скольких недель, она может принести определенную пользу, но если она длится до самого конца разработки, то фактически дублирует работу группы тестирования. Однако, если оказывается, что подоб­ный сотрудник работает эффективнее профессиональных тестиров­щиков, имеет смысл пересмотреть выбранную стратегию тестирования — похоже, что она неэффективна.

• Действительно ли количество выявленных за неделю проблем отра­жает производительность работы тестировщика? В самом нача­ле тестирования обычно обнаруживается очень много ошибок. Следующий подъем этого показателя наблюдается по окончании первого этапа разработки, поскольку код к этому времени еще очень нестабилен. Далее все зависит от конкретного проекта. Если продукт нестабилен, периоды с очень высокими показателями обнаруженных ошибок могут чередоваться с неделями затишья, когда составляется пять-шесть отчетов за неделю. На других проектах вначале наблю­дается увеличение количества обнаруживаемых ошибок, по мерс того как тестировщики знакомятся с продуктом, а затем постепен­ный спад, отражающий стабилизацию программы. Таким образом, невозможно составить универсальную схему — развитие событий может быть очень различным, и зависит оно от множества обстоя­тельств. Пожалуй, единственное, на что стоит обратить пристальное внимание, — это постоянное и не слишком большое количество отчетов у какого-либо тестировщика. Так бывает, если человек по­стоянно меняет область тестирования: ставит одну задачу, посвящает ей несколько дней, составляя по нескольку отчетов за день, затем переключается на другую задачу. Дополнительным показателем не­добросовестности может служить то, что в отчетах этого сотрудни­ка описываются большей частью самые очевидные недостатки проектирования и наиболее легко выявляемые ошибки. Кроме того, стабильные показатели могу! быть у тестировщиков, работающих по плохо составленному плану.

152 Часть II: Приемы и технологии тестирования

Наш собственный опыт показывает, что в оценке производительности работы тестировщиков не стоит полагаться на простые данные о количестве составляемых ими отчетов, а следует внимательнейшим образом изучить сами отчеты. Например, некоторые тестировщики исследуют программу тщательнее других, больше времени тратят на попытки воспроизвести труд­ноуловимые ошибки или работают с более сложными частями программы. Не удивительно, что они выявляют меньше ошибок, чем их коллеги, одна­ко та часть программы, с которой они поработали, в результате гораздо более надежна, чем у других. Таких сотрудников мы называем старшими тестировщиками и уж никак не считаем их работу наименее производи­тельной.

Мы всегда резко возражаем против любых ссылок на количество выяв­ляемых тестировщиком ошибок, в личной ли беседе или публичных заяв­лениях. Некоторые люди реагируют на такие упоминания очень болезненно, у них возникает чувство, что руководитель намеренно внима­тельно отслеживает именно их производительность, хотя на деле это может быть и совсем не так. Тем более недопустимо явно интерпретировать по­добные данные как показатели производительности — это наверняка будет воспринято как несправедливая оценка работы и вызовет бурю эмоций. После таких высказываний руководства рядовые сотрудники немедленно начнут корректировать свои действия, пытаясь подогнать показатели под желаемые. Ведь они теперь будут полагать, что руководство отслеживает их производительность, оценивая ее по количеству составляемых отчетов. А чтобы подогнать показатели, им придется работать менее добросовестно: составлять отчеты только о легко выявляемых ошибках и не тратить мно­го времени на тщательное исследование тестируемой области программы. Некоторые из сотрудников заходят еще дальше, заполняя базу данных отчетами о совершенно незначительных, не стоящих внимания недостатках программы или отчетами с чуть различающимися описаниями одних и тех же проблем.

Иногда мы просматриваем статистику выявления ошибок, но делаем это не каждую неделю и не афишируем результаты. Вместо этого, если какие- либо показатели привлекают наше внимание, мы тщательно изучаем соот­ветствующие отчеты и, если проблема действительно имеется, принимаем меры.

Высшее руководство

Руководители высшего уровня не занимаются отдельными ошибками, если только речь не идет об исключительно серьезных проблемах, решение которых приходится отложить. О таких проблемах они могут узнать от ведущего тестировщика, руководителя группы тестирования, руководителя проекта, а также от любого сотрудника, посчитавшего, что к определенной