Degtyarev_A_A_Prikladnoy_politicheskiy_analiz

соотношения их цены и качества и сравнения качественных преимуществ. Выгоды и издержки предлагаемых методик должны быть соотнесены с точностью и надежностью ожидаемых результатов. Например, телефонный опрос, как правило, обеспечивает более высокие показатели отклика, в сравнении с почтовой рассылкой, тем самым, позволяя оценщикам получать более обобщенные результаты по более широкой выборке участников программы. С другой стороны, почтовая рассылка дешевле, чем телефонный опрос. Аналогичным образом, углубленность ручных методов сбора данных может быть перевешена гибкостью компьютеризованных информационных систем. Принимая участие на стадии планирования стратегии оценки, менеджеры могут обеспечить информацию по поводу технической и ресурсной обеспеченности тех или иных вариантов измерений, при этом их данные могут расходиться с предварительными расчетами оценщиков.

Стороны, имеющие интерес в оцениваемой программе – « стейкхолдеры» - должны быть вовлечены в процесс на всех стадиях, от планирования до имплементации и оглашения результатов. Как отмечают специалисты, обладающие практическим опытом как внутреннего (13), так и внешнего (14) оценивания, раннее вовлечение участников, обладающих экспертным знанием по конкретным аспектам функционирования программы (не исключая и группы граждан, обслуживаемые данной программой), является абсолютно необходимым условием с точки зрения практической значимости и полезности конечного результата.

При этом следует обоснованно ожидать, что различные заинтересованные стороны будут иметь различные критерии оценки производительности «своей» программы. Наиболее значимые расхождения в подходах следует ожидать со стороны менеджеров программы и самих оценщиков. Очевидно, что от выбора перспективы в значительной мере зависит содержание вопросов, на которые оценивание должно будет дать ответ, а также характер измерительных методик и, в конечном итоге, содержание конечного информационного продукта. В некоторых случаях,

381

менеджеры программ имеют возможность контролировать этот выбор, в других случаях они такой возможности не имеют; однако, в любом случае целесообразно привлекать на стадии планировании оценки другие заинтересованные стороны.

Участие заинтересованных сторон может оказать влияние и на выбор методик оценки: краткосрочные и малобюджетные методики обладают при этом более высокой политической приемлемостью, в сравнении с более традиционными, долгосрочными и затратными схемами.

Неизбежное при данной стратегии затягивание стадии планирования во времени оказывается, как правило, плодотворным в той мере, в какой оно помогает избежать «зависимость от инструмента» (т.е. склонность профессиональных оценщиков использовать методический и технический инструментарий, которым они лучше владеют, вне зависимости от того, насколько данный инструментарий адекватен ключевым вопросам, ответы на которые от них ждут другие участники). В силу этого, менеджерам программ и лицам, принимающим решения, следует настороженно относиться к оценщикам с узко профессиональным кругозором (15). Команды оценщиков, сформированные с участием специалистов в разных областях и с разным профессиональным опытом, оказываются более гибкими в выборе инструментария, соответствующего практическим нуждам заинтересованных сторон.

На стадии планирования целесообразно также совместно с менеджерами организации/программы определить контуры ожидаемого конечного продукта, стремясь к тому, чтобы полученные результаты оказались максимально соотнесены с имплементацией изменений. Оценщики и менеджеры должны определить, каким образом они намерены использовать полученные результаты, с тем, чтобы информация оказалась необходимой и достаточной для внесения корректировок в ход реализации программы, если в этом возникнет необходимость. Такой подход повышает вероятность того,

382

что оценочная работа будет иметь результатом не только идентификацию проблем, но и выработку их решений.

Проведение оценивания

Предоставление значимой, надежной информации, которую менеджеры программ могут использовать для улучшения своей деятельности, остается главным вызовом, с которым имеют дело профессиональные оценщики. На стадии имплементации стратегии оценивания, необходимо тесное сотрудничество с менеджерами программ в определении алгоритмов решения, руководящих ходом оценочного процесса. Кредитоспособность результатов оценивания значительно повышается там, где методологическая целостность и прозрачность логики, посредством которой они получены, подкрепляется открытым обсуждением и коллективным принятием решений

(16).

Мониторинг процесса оценивания должен быть простым и гибким. Отчеты о ходе работы могут предоставляться на отдельных ключевых этапах, либо с определенной регулярностью. В редких случаях, когда требуется внесение существенных изменений в ход оценивания, могут проводиться брифинги и совещания.

Джеральд Баркдолл и Даглас Спун подчеркивают (17) необходимость гибкости со стороны оценщиков в процессе осуществления проекта, в условиях, когда среда организации/программы может претерпевать постоянные изменения. Ресурсный уровень, политическое руководство, а также круг заинтересованных сторон может меняться по мере сбора и анализа информации, что значительно усложняет задачу, стоящую перед оценщиками. Среди других ситуационных переменных, подверженных изменению, называют уровень враждебности персонала в отношении оценивания, уровень осведомленности персонала о задачах оценивания, степень гомогенности установок персонала в отношении оценивания, степень сложности программ, степень иерархичности в структуре принятия решений,

383

количество источников финансирования программы, а также целевые ориентиры самого оценивания (18). В этих условиях, от оценщиков требуется как креативность, так и гибкость в выстраивании коммуникации с другими сторонами.

Взаимодействие между оценщиками и менеджерами программ в процессе имплементации стратегии оценивания, кроме того, дает первым хорошую возможность для ознакомления менеджеров с оценочными методиками, что представляется целесообразным с точки зрения культивирования позитивных установок в среде менеджеров. В долгосрочной перспективе, такие усилия могут принести выгоды не только оценщикам, но и самим менеджерам. Например, последние могут использовать данные, полученные в процессе оценивания, в области связей с общественностью и в усилиях по наращиванию финансирования своих программ.

Представление и распространение результатов

Представление результатов оценивания в той форме, которая повышает вероятность их практического применения, является последним тестом эффективного оценочного процесса.

У каждого профессионального оценщика есть собственный стиль презентации полученных результатов. Каждая презентация, однако, должна отвечать базовым требованиям в отношении ясности, конкретности и обоснованности.

Отчет о результатах оценивания можно признать хорошим тогда, когда он соответствует основному замыслу, целям и задачам. Каким бы он ни был совершенным в отношении стиля, если отчет не отвечает на первоначально поставленные вопросы, он лишен практической ценности.

Помимо этого основного требования, отчет должен соответствовать ряду критериев:

-обоснованность (основаны ли выводы на достоверных и надежных данных?);

384

-убедительность (подкрепляют ли данные и логические аргументы основные выводы исследования?)

-нейтральность (излагает ли отчет данные и аргументы непредвзято?)

-структурированность (насколько грамотно организован текст отчета?)

-читабельность (легко ли читается текст?)

-презентабельность (насколько привлекательно оформлен отчет?)

Ощущение «причастности», формирующееся у менеджмента программы благодаря вовлечению в процесс оценивания на предыдущих стадиях, может быть укреплено путем их участия в определении стратегии представления и распространения результатов, включая решения о том, кому будет представлена информация, в какой форме она будет представлена (письменной или устной), а также где и когда она будет представлена. Этот круг решений не рекомендуется откладывать на поздние стадии оценочного процесса. Джеймс Белл полагает, что весь оценочный проект может быть организован в соответствии с рубриками, которые предполагается осветить в итоговом отчете или устном брифинге (19).

Оценщики должны руководствоваться принципом соответствия формата итогового отчета информационным потребностям аудитории (заинтересованных сторон). Приведение стиля отчета в соответствие с коммуникативным стилем менеджеров программы является эффективной, хотя и не простой стратегией (20). При этом, содержательная часть отчета также должна удовлетворять информационным потребностям сторон. Следует иметь в виду, что, как правило, существуют различные аудитории, заинтересованные в результатах проведенного оценивания, и их интересы также необходимо учитывать.

Задача оценщиков состоит в том, чтобы показать значимость, точность и надежность полученной информации, а также представить результаты в

385

ясной и доступной для основных заинтересованных аудиторий форме. При этом, менеджмент программы и другие участники процесса могут оказаться незаменимым источником информации по поводу выбора конкретной тактики представления и распространения полученных результатов.

Распространение полученных результатов может реализовываться в различных формах:

-публикации, брифинги, пресс-релизы (обеспечивает более широкую доступность результатов оценивания, включая заинтересованные стороны, принявшие участие в процедуре оценивания);

-тренинги и повышение квалификации (если результаты оценивания представляют практическую значимость, целесообразно организовать их анализ и выработку новых навыков с участием персонала программы или организации, и других заинтересованных сторон).

Вгосударственном секторе, где ресурсы распределяются посредством скорее бюджетного, нежели рыночного механизма, мало быть эффективным

ипродуктивным; необходимо, чтобы вас признали в качестве такового. Последний шаг предполагает коммуникацию с лицами, принимающими

решения, и другими заинтересованными сторонами, обладающими достаточным влиянием на процесс распределения ресурсов. Решения по распределению ресурсов принимаются постоянно и на всех уровнях власти; своевременное и регулярное доведение информации о деятельности организации/программы до ключевых фигур этого процесса позволяет поддерживать адекватную ресурсную базу даже в жестких политических средах и ситуациях.

Имплементация результатов оценивания

386

Применение результатов определяется изначальным замыслом и целями исследования. Можно, однако, выделить три группы элементов, которые будут присутствовать в большинстве проектов:

-рекомендации (предполагающие определенные действия, которые должны быть приняты либо отвергнуты);

-выводы (значимые результаты более общего характера, которые могут представлять интерес для смежных областей и сфер активности заказчика или спонсора исследования; они подлежат обсуждению и уяснению);

-обратная связь (если нас интересует эффективность и результативность проделанной работы, следует предусмотреть механизм мониторинга практического использования наших рекомендаций и их последствий).

Разные стороны могут иметь различные намерения в отношении полученных результатов: одни могут быть заинтересованы в использовании их для оправдания ранее принятых решений, другие – для аргументации в пользу изменения существующей практики. В этой ситуации, оценщики заинтересованы прежде всего в защите ценности и практической значимости результатов как таковых (21).

Цель оценщика заключается в том, чтобы по мере возможностей стимулировать политическую и управленческую востребованность оценивания, и в особенности, стимулировать применение оценивания для улучшения деятельности организаций и программ. Вероятность такого рода конструктивной утилизации может быть повышена за счет: 1) приобретения и поддержания профессионального авторитета оценщика; 2) обобщения результатов оценивания и ясного изложения их значимости и практической применимости; 3) ясного донесения до заинтересованных сторон (коммуникации) результатов оценочного исследования, включая предполагаемые издержки и последствия рекомендуемых изменений в политических решения, политических программах, либо пилотных проектах;

387

4) содействия в выборе между вариантами политического решения, программы и методик оценивания; 5) содействия в имплементации выбранных альтернатив; 6) мониторинга имплементации выработанных рекомендаций, и 7) выработки стимулов к улучшению деятельности организаций/программ.

Стимулы могут быть нематериальными (признание высоких достижений, доброжелательное освещение в прессе, делегирование дополнительных полномочий, устранение ограничений) либо материальными (перераспределение дискреционных фондов и штатных позиций, выделение ресурсов в увязке с достигнутыми результатами, долгосрочные гранты, свободное распоряжение сэкономленными средствами). Групповые стимулы способны содействовать кооперативным усилия, направленным на улучшение деятельности.

Профессиональные оценщики могут оказать содействие в разработке пилотных проектов и систем стимулирования; в обобщении данных в форме кратких кейсовых исследований и организационных диаграмм, выявляющих виды деятельности, в наибольшей мере способствующих улучшению показателей; а также в организации рабочих совещаний, посвященных практическим аспектам деятельности (22).

Эффективность и результативность программы лежит в сфере ответственности ее менеджеров, а не оценщиков; в то же время, грамотная стратегия распространения полученных результатов способна создать дополнительные стимулы к применению их на практике. Например, критическим фактором может стать передача информации непосредственно в высшие руководящие звенья соответствующего ведомства, с последующей увязкой степени приверженности выработанным рекомендациям с перспективами дальнейшего карьерного роста соответствующих менеджеров. Практика «сопровождающей оценки» (follow-up assessment), призванной установить, в какой мере выработанные рекомендации применяются на

388

месте, показала высокую эффективность (23). Такая тактика может быть встроена в план еще на предварительных этапах работы.

Оценщики и заинтересованные стейкхолдеры могут проводить десятки брифингов и рассылать по инстанциям сотни копий своих отчетов, однако, пока имплементация выработанных рекомендаций не превратиться в ощутимую выгоду для менеджеров программы, никакие изменения не будут иметь место.

5.3. Методы политической диагностики (оценивания).

Способы и методы диагностики (оценивания) государственных организаций/программ претерпели за последние десятилетия определенную эволюцию. Рост доступности и расширение навыков применения компьютеров способствовали внедрению многих оценочных процедур в практику деятельности всех уровней государственной власти.

С конца 70-х годов, в практике программного оценивания произошел сдвиг от долгосрочных политических исследований к более актуальным, краткосрочным, ориентированным на прикладные проблемы организационного менеджмента, проектам (24).

Эта тенденция нашла отражение в докладе американской Счетной Палаты (General Accounting Office - GAO): «В целом, краткосрочные,

малобюджетные, внутренние исследования и доклады нетехнического содержания – как правило, инициированные по запросу высшего руководящего звена организации или программных менеджеров – возросли как в абсолютном выражении, так и в пропорции к общему объему исследований; крупномасштабные, долгосрочные, внешние исследования и технические по содержанию доклады показали противоположную динамику»

(25).

Для ориентированных на показатели производительности менеджеров наибольшую пользу представляют четыре краткосрочные, относительно

389

недорогие методики оценивания: установление оцениваемости (evaluability assessment), мониторинг производительности (performance monitoring) и

качественное оценивание (qualitative evaluation). Хотя каждая из этих методик может применяться как для актуальных, так и для долгосрочных результатов программы, они характеризуются как «краткосрочные» потому, что позволяют представить оценочные результаты быстрее, в сравнении с методиками, основанными на экспериментальном или квази-

экспериментальном дизайне (26).

Экспериментальный метод

Экспериментальный метод, основной разновидностью которого является социальный эксперимент, относится к наиболее сложным, продолжительным и дорогостоящим методам оценивания; не удивительно, что он традиционно является излюбленным методом профессиональных оценщиков.

В данном методе, опирающемся на базис экспериментальной психологии и ряда других общественных дисциплин (27), ключевое значение имеет правильный отбор контрольных и экспериментальных групп (т.е. случайная, статистически значимая выборка), точная спецификация и измерение оценочных переменных (точность, надежность и валидность), а также контроль факторов внешних по отношению к концептуальной модели исследования (пространственная и временная ограниченность). Таким образом, значительная часть реальных программ заведомо недоступна для экспериментального метода, поскольку не удовлетворяет названным условиям: речь идет о программах большого масштаба, комплексного содержания, динамического характера, со значимыми элементами риска и неопределенности.

Как и в отношении многих других методов политического анализа, решающим критерием выбора того или иного метода оценивания является компромисс между методологической строгостью и практической значимостью.

390