Материалы подготовлены Management Systems International и Центром Поддержки НКО
Оценка проектов
1. Эволюция концепции
Почти каждый день спонсор проекта, который выполняется в какой-нибудь стране - может быть, именно в России, - приходит к мысли, что ему необходимо знать, каковы конкретные результаты проекта на данный момент. На столе у него лежат отчеты людей, которые управляют проектом, однако ему хотелось бы знать мнение стороннего человека. Он заказывает оценку. И его сотрудники начинают искать эксперта в области оценки проекта [далее - эксперт], который может выполнить эту задачу.
Этот пример как будто свидетельствует о том, что большинство людей используют термин “оценка” одинаково, что у них одни и те же взгляды на то, какой квалификацией должен обладать человек, чтобы быть экспертом по оценке. На самом же деле это совсем не так. У разных людей могут быть самые разные представления о том, что такое оценка.
Начнем со словаря:
Оценивать 1. Удостоверивать стоимость
или ценность чего-либо или
придавать такую ценность.
2. Изучать и выносить
взвешенное суждение.
Источник: The American Heritage Dictionary
Значение термина “оценка” со временем расширялось. Основные изменения произошли в течение последних 30 лет. Это не удивительно. Именно в течение этих 30 лет в мире произошло стремительное увеличение числа социально ориентированных проектов и программ - в области здравоохранения, образования, помощи инвалидам, защиты окружающей среды и пр.
Некоторые специалисты, публикующие материалы по вопросам оценки проектов, употребляют термин "оценка" в значении, близком к словарному. Майкл Скривен, которого некоторые называют “философом” оценки, придерживается следующего подхода:
“Оценка есть только то, что она есть, и не более - а именно, определение достоинства или ценности.
А то, для чего она используется, -это уже совсем другое дело.” 1
“Плохое - это плохое.
Хорошее - это хорошее.
Задача же эксперта по оценке в том и состоит, чтобы определить - что есть что.” 2
В мире Скривена эксперт может быть первичной инстанцией для вынесения суждений о ценности проекта. Не все с этим согласны.
Э. А. Сухман подходит к определению оценки с несколько иной точки зрения. В общем плане он соглашается со Скривеном и другими авторами в том, что оценка “включает процесс вынесения суждений о ценности” 3. Однако, говорит Сухман, это - вполне обыденный процесс. Все люди - притом каждый день - выносят суждения о ценности чего-либо, когда покупают мясо или одежду, или выбирают, какую телепрограмму смотреть. Сухман ввел термин “исследование для оценки”, чтобы подчеркнуть разницу между повседневными суждениями о ценности чего-либо и профессиональной оценкой.
Исследование для оценки включает “использование научно-исследовательских методов и приемов для целей проведения оценки” 4. Для Сухмана оценка - это вопрос того, "как" это делается. Он способствовал изменению статуса оценки: от личной ” точки зрения, или “субъективного" суждения" - к использованию более формальных методов измерения качества работы, или к тому, что мы называем “объективным суждением”.
Другие эксперты расширили значение термина “оценка”, привнеся такой аспект как цель оценки. Кэрол Вайс - одна из сторонников такого определения оценки:
“Цель оценки - измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить... это одно из средств содействия последующему принятию решения относительно программы <...> а также улучшения процесса разработки программ в будущем” 5.
“Систематический анализ результатов каждого проекта позволит определить следующее:
Какие программы работали хорошо и должны быть расширены;
Какие программы не удались и должны быть прекращены;
Какие программы являются маргинальными и требуют модификации.” 6
Вайс отличается от Скривена не только определением того, на чем должно основываться вынесение суждений о программе или проекте, но также и представлением о том, должна ли быть у оценки четкая цель. Для Скривена цель несущественна. Для Вайс обратная связь - поступление информации к менеджерам, которые должны принимать решения о будущем финансировании, изменении программы и т.п. - чрезвычайно важна. По ее мнению, наличие четкой цели - вот что такое оценка.
Обычно предполагается, что оценка может иметь много различных целей:
Некоторые ожидают, что оценка ответит на вопросы о достигнутых успехах.
Другие хотят узнать о результатах или следствиях проекта.
Третьих в основном будет заботить то, насколько велика эффективность проекта по сравнению с затратами на него.
Исторически сложилось так, что основными потребителями результатов оценки и, следовательно, основной группой лиц, формулирующих вопросы для ее проведения оценки, стали те, кто эту оценку финансировал. Однако этот акцент начал смещаться. Люди начали осознавать, что существуют различные группы “акционеров”, которые имеют законное право знать, какую “продукцию” производит проект или программа.
К числу “акционеров” могут принадлежать:
спонсоры программы
лица, занятые в оперативном управлении проектом
непосредственные “благополучатели” (клиенты) проекта
жители других регионов страны, которые, возможно, захотят повторить выполняемую по проекту работу, если проект оказался успешным.
Питер Росси и Говард Фримен указывают, что эксперты по оценке должны уметь понимать точки зрения всех “акционеров” и учитывать их при планировании и проведении оценки.
“Все точки зрения являются одинаково правомерными. Точка зрения клиента или "целевой аудитории" не могут претендовать на большую "правомерность", чем точка зрения руководителей программы или финансирующего ее государственного органа” 7
“Ответственность эксперта по оценке заключается не в том, чтобы принимать одну из многих точек зрения в качестве единственно законной, а в том, чтобы ясно сформулировать, с какой именно точки зрения проводится данная конкретная оценка, а также признать существование и других точек зрения” 8.