Degtyarev_A_A_Prikladnoy_politicheskiy_analiz

- оценка процесса (process evaluation) – анализ структурных и операциональных аспектов внутренней системной «конверсии», т.е. процесса преобразования внешних «входов» в управленческие решения и действия («выходы» - output);

- оценка воздействия (impact evaluation) – анализ изменения внешней среды под воздействием решений и действий системы;

Брувер и ДеЛеон справедливо отмечают, что комплексная экспертиза организации или программы предполагает анализ всех трех аспектов: действительно, «возможно ли реалистически сопоставить результаты программы (output) с заявленными целями – что представляет собой предмет

оценки производительности (performance evaluation) – не имея ясного понимания внутренней каузальной структуры «черного ящика», осуществляющего конверсию первого во второе? Это особенно справедливо по отношению к тем, кто заинтересован в повышении производительности – что является первичным обоснованием при проведении оценивания» (5).

Следует отметить, что в данной трактовке концепция программной экспертизы смыкается с концепцией программного планирования (Глава 7), также опирающегося на постулаты и категориальный аппарат системного анализа.

Наконец, в реальной практике политический аналитик может столкнуться с теоретически неартикулированным, но от этого не менее значимым различием между формальным и неформальным оцениванием.

371

Формальное оценивание есть элемент публичной политики, фиксируемый в официальных документах, отчетах и стенограммах, документальной хронике и информационных сюжетах масс-медиа. Коллизии, связанные с осуществлением формального оценивания, порой выливаются в пикеты и акции протеста, PR-мероприятия и драматические заявления, громкие отставки и внеплановые госпитализации. Формальное оценивание носит строгий методологический, институциализированный характер, ему посвящены образовательные программы и тренинги, учебные и методические пособия, включая настоящую главу учебника, который читатель держит в своих руках. Вопрос, в какой мере формальное оценивание оказывает реальное влияние на процесс принятия политических решений, остается в значительной степени дискуссионным.

Неформальное оценивание относится к призрачному миру теневой политики, скрытой от любопытных глаз. Его методы – конфиденциальные беседы, телефонные и «нетелефонные» разговоры, деловые ланчи и клубные встречи; его площадки – гольф-клубы и охотничьи угодья, престижные курорты, пятизвездочные отели и разнообразные «коридоры власти»; наконец, его участники – « источники, пожелавшие остаться неназванными». Подоплека и коллизии, связанные с осуществлением неформального оценивания, редко становятся достоянием гласности, судить о них можно по таким косвенным признакам, как списки состава приглашенных и очередность рукопожатия, брошенные вскользь реплики и едва заметные жесты, мимика лица и другие, неквантифицируемые факты политической жизни. Однако результаты неформального оценивания выливаются во вполне осязаемые указы, постановления и решения органов государственной власти. Неформальное политическое оценивание происходит ежедневно и ежечасно на всех уровнях и во всех сегментах политической системы, и единственный источник знания об этой стороне политической реальности – личный профессиональный опыт политического аналитика.

372

5.2. Процесс экспертизы политических программ: содержание и основные этапы

Экспертиза программ, или политическое оценивание, включает в себя определение программы и желаемых показателей ее реализации, оценку хода реализации программы (результаты и последствия) и факторов, оказывающих на него влияние, а также коммуникацию, доведение оценочной информации до лиц, принимающих решения, менеджеров, сотрудников и других заинтересованных сторон.

Принято выделять следующие этапы оценочного процесса:

1.Предварительный этап (инициирование оценивания)

2.Планирование оценивания

∙определение общего замысла оценивания

∙определение целей и критериев оценки

∙определение плана-графика

∙выработка стратегии

∙коммуникация с заинтересованными сторонами

3.Проведение оценивания

4.Представление и распространение результатов оценивания

5.Имплементация результатов оценивания

Предварительный этап (инициирование оценивания)

Профессиональные оценщики воспринимают себя в качестве полезных инновационных агентов, производящих информацию по поводу фактического и потенциального уровней производительности, стимулирующую улучшения в работе организаций/программ. Менеджеры программ, однако, также обладают значимой информацией о работе организаций и программ. В известном смысле, привлечение оценщиков может восприниматься менеджерами и руководством организаций как

373

деструктивный фактор; как минимум, они могут опасаться роста накладных расходов и информационной перегрузки. С точки зрения многих менеджеров, оценщики либо не способны сказать ничего нового, либо могут сказать только плохое, при этом слишком поздно, чтобы что-либо изменить. Профессиональные оценщики, в свою очередь, высказывают претензии по поводу того, что их работа слишком часто оказывается невостребованной, а рекомендации неиспользованными.

Оценщики должны быть способны убедить потенциальных клиентов в полезности проведения оценивания. Менеджеры программ и их сотрудники настолько заняты и перегружены работой, что на выработку эффективных оценочных схем может быть выделена лишь незначительная доля от общих ресурсов их программ. Для внутренних, штатных оценщиков, занятых в государственных организациях, умение продать себя и свой продукт является критически значимым качеством.

На стадии, предшествующей проведению оценивания, менеджеры программ могут даже не подозревать о потенциальных преимуществах выработки и применения измерительных оценочных систем; другая крайность связана с тем, что менеджеры могут испытывать страх перед директивно навязанной им оценочной процедурой, проводимой «чужаками» в целях, характер которых для них остается непонятным.

Внешние оценочные инициативы, предпринимаемые с целью контроля над менеджментом программы, - например, исходящие от парламентских комитетов или политических назначенцев в административных структурах, - без сомнения, будут восприниматься сотрудниками и руководством программы с подозрением и враждебностью. Практически неизбежные опасения, вызываемые у этих участников подобными проверками, способны жестко ограничить возможности их конструктивного вовлечения в оценочный процесс. Открытость коммуникации и совместное определение круга задач и характера конечного продукта являются полезными

374

тактическими приемами оценщика в ситуации сопротивления со стороны персонала и руководства.

Далее, сама перспектива перемен может оказывать парализующее воздействие на менеджеров программ. Оценивание в любой своей форме предполагает угрозу изменений как следствие неблагоприятной информации. Профессиональные оценщики, работающие внутри государственных организаций, способны стать эффективными агентами изменений, если они воспользуются имеющимися просветительскими возможностями. Опираясь на свою репутацию, они могут повысить степень доверия руководства и менеджмента организации к «оцениванию».

Джеральд Баркдолл и Даглас Спун отмечают (6), что профессиональные оценщики способны достичь значимого долгосрочного результата, мобилизуя поддержку в отношении своей будущей оценочной активности посредством эффективного взаимодействия с менеджерами программ до, в процессе, и после оценивания. Они далее рекомендуют агрессивно продвигать идеи оценивания и среди менеджеров, с которыми не имели непосредственного делового опыта, дабы сформировать среду, благоприятную к оцениванию.

Оценивание предпринимается ради обеспечения полезной информацией лиц, принимающих решения и организующих их реализацию. То, в какой мере полученные в процессе оценивания результаты будут содействовать улучшению соответствующих программ, непосредственно зависит от добросовестности и открытости самого процесса оценивания. Оценщики и оцениваемые несут общую ответственность за успех данного процесса и его результатов. Критически значимым фактором при этом выступает эффективная коммуникация между участниками.

Оценщикам следует информировать менеджеров программ о большом разнообразии имеющихся оценочных методик. Одна из наиболее трудных задач, с которыми сталкиваются оценщики и менеджеры, заключается в определении ключевых вопросов, ответы на которые должна дать процедура

375

оценивания; каждая сторона должна научиться говорить на «языке» друг друга прежде, чем соответствующие вопросы будут определены.

Факторы ресурсов и доверия к профессиональному оценщику играют ключевую роль в мотивации менеджеров программ. Как будет показано в параграфе Методы оценивания, общей тенденцией является отход от дорогостоящих постоянно действующих мониторинговых систем в пользу краткосрочных, высоко сфокусированных и сравнительно доступных, разовых исследований, дающих «моментальный снимок» оцениваемой организации или программы (7).

Рональд Карлсон и Анабель Крейн отмечают при этом, что профессиональные оценщики, помогая программным менеджерам сориентироваться в разнообразии имеющихся методик, должны, тем не менее, стремиться «продать» скорее идею оценивания как таковую, чем отдельные методы и технические приемы (8).

На стадии, предваряющей оценочное исследование, навязывание сжатых временных рамок способно снизить вероятность идентификации наиболее адекватных (и, возможно, неочевидных) вопросов, на которых должно быть сфокусировано оценочное исследование. Вопросы, которые допускают быструю идентификацию и быстрые ответы, как правило, не являются именно теми вопросами, которые в наибольшей мере оказывают влияние на улучшение программы. Определяя круг ключевых вопросов, на которые оценочное исследование призвано дать ответы, оценщики должны в максимальной степени руководствоваться практически значимыми интересами менеджеров программ. Вместе с тем, следует иметь в виду, что в своей экстремальной форме, такая стратегия способна сделать оценщиков простыми техническими исполнителями, узко сфокусированных на аспектах, представляющих краткосрочный интерес для менеджеров программ. Профессиональные оценщики должны стремиться к активной, стимулирующей роли, оказывая помощь менеджерам в формулировании вопросов, даже в условиях жестких временных ограничений (9).

376

Грамотная стратегия оценивания только выиграет в том случае, если удастся уже на предварительном этапе привлечь штатных сотрудников оцениваемой организации/программы к выявлению информационных потребностей; результат при этом оказывается заметно лучше, чем в случае, когда эту задачу берут на себя привлеченные оценщики, мало знакомые с опытом функционирования данной единицы. Иногда руководство и сотрудники оцениваемой организации/программы могут решать эту задачу в ненапряженной, свободной манере, возможно, в течение нескольких месяцев прежде, чем профессиональные оценщики приступят к своей работе.

Ценность информации, произведенной в процессе оценивания, в значительной степени зависит от точки ее ввода в соответствующий цикл планирования и бюджетирования. Предварительная коммуникация между оценщиками, менеджерами программ и другими заинтересованными сторонами способна повысить ценность полученной информации: сила убеждения и авторитет, приобретаемые оценщиками в процессе такой предварительной коммуникации, могут сыграть критическую роль в инкорпорировании оценки в текущий бюджетный процесс. Задача максимум при этом – помочь менеджерам и лицам, принимающим решения осознать долгосрочные преимущества институциализации оценивания в рамках процессов планирования и бюджетирования (10).

Планирование оценивания

Чтобы быть эффективным, оценивание должно иметь ясно сформулированный замысел. Для чего проводится оценивание? Чтобы обеспечить информацию для принятия решения? решить конкретные управленческие проблемы? или обучить персонал более эффективным методам? Каким образом будут использованы результаты оценивания?

Исходным пунктом планирования является дефиниция программы, представляющая собой изложение базовых теоретических допущений (идентификация необходимых ресурсов, планируемых действий, значимых

377

промежуточных результатов, долгосрочных целевых ориентиров, а также предполагаемых каузальных связей между ресурсами, действиями, промежуточными результатами и долгосрочными целями) и количественных или качественных показателей, предназначенных для оценочного измерения выделяемых ресурсов, предпринятых действий и полученных результатов.

Значимыми индикаторами (целями и критериями оценки) деятельности организации/программы, как правило, выступают измерения

результативности, качества, своевременности, эффективности (либо эффективности затрат). Количественные измерения могут быть дополнены качествеными критериями (например, экспертный рейтинг организации/программы). Если значимыми представляются несколько измерений, может быть выработан совокупный показатель деятельности с весовыми коэффициентами, отражающими значимость каждого индивидуального измерения.

Поскольку данные показатели играют важную роль в плане стимулирования и коммуникации, приоритет должен быть отдан индикаторам, характеризующим «выход» программы или услуги на соответствующие категории населения, а также ожидаемую экономию издержек. Следует отметить, что возможность измерить ожидаемую экономию издержек напрямую встречается довольно редко, чаще прибегают к данным, полученным из специальных исследований, например, посредством моделирования.

Показатели могут задавать целевые уровни ожидаемой эффективности и результативности программы (например, «доля лиц, повторно обратившихся в службу занятости в течение года, должна снизиться до 20%»), либо просто обозначать направление движения. Показатели должны быть реалистичны, то есть не должны превышать наивысшие показатели, достигнутые другими организациями, действующими в сопоставимых условиях.

378

План-график оценивания обычно определяется основным замыслом, в особенности, если речь идет об обеспечении конкретного управленческого решения. Значимыми аспектами при этом представляются:

-своевременность (результаты оценивания должны быть представлены и распространены к определенному моменту принятия решения);

-продолжительность (для завершения оценивания необходимо выделить достаточно времени)

-зрелость объекта оценивания (результаты деятельности

программы или организации должны успеть проявиться) Критическим фактором успеха является чувствительность оценщиков к

временному графику, в особенности к дедлайнам, установленным для менеджеров программ. Грамотно составленный план-график, учитывающий фактор времени, является ключевым элементом любой стратегии оценщика, который хочет быть полезным и востребованным (11). Взаимодействие между оценщиками и менеджерами программ оказывается более плодотворным, если согласованные дедлайны не вынуждают их принимать скоропалительные решения.

Стратегия оценивания определяет структуру и основные компоненты оценочного процесса, и обычно отражает следующие аспекты:

-ресурсы (людские, финансовые, организационные, технические и информационные);

-дизайн (цели и задачи, методологический аппарат и т.д.);

-менеджмент (распределение обязанностей и контроль за исполнением);

-кадры (требования к членам рабочей группы и условия их участия)

-применение результатов (формат и механизм представления и распространения результатов оценивания)

379

Как показывают Рональд Карлсон и Анабель Крейн (12), одним из существенных камней преткновения в распространении и институциализации оценивания является страх менеджеров перед негативными результатами. Следует иметь в виду, что негативные выводы в отношении оцениваемой программы могут быть результатом профессиональной некорректности, в особенности в таких методах, как «оценка воздействия», impact assessment. Так называемая ошибка «ложного негатива»бывает вызвана некорректным проектированием оценочной стратегии, непродуманной выборкой, либо поверхностной интерпретацией повторных замеров. К ошибочным выводам могут прийти не только оценщики и менеджеры, но – и данное обстоятельство может иметь критическое значение - лица, осуществляющие надзор и контроль деятельности оцениваемой организации/программы, на основании предоставленных результатов оценки.

Проектируя стратегию «оценки воздействия», оценщики совместно с менеджерами должны выработать наиболее оптимальный график для повторных замеров результата (например, при оценивании воздействия программ профессиональной переподготовки на динамику занятости участников). Очевидно, что такие повторные замеры должны осуществляться по нескольким последовательным точкам по окончании действия программы (в данном случае, по окончании курсов обучения), и оценщики вместе с менеджерами программы должны обсудить все за и против того или иного варианта графика. Впрочем, с точностью определить заранее, какой график повторных замеров будет наилучшим, редко представляется возможным.

Так или иначе, скороспелость и непродуманность в выборе оценочной стратегии увеличивает вероятность ложной картины оцениваемой программы, и оценщики не меньше, чем менеджеры заинтересованы в том, чтобы этого по возможности избежать.

Предметом коммуникации между заинтересованными сторонами может быть также выбор применяемых оценочных методик с точки зрения

380