2.2. Структура, или дизайн оценки

Структура оценки, или дизайн оценки, или ее планирование (не устоявшаяся терминология в оценочной практике и теории) – это методическая основа оценочного проекта, которая формулируется в соответствии с его целями и задачами.

В оценочной практике различают несколько видов структур оценки: экспериментальную, квазиэкспериментальную и описательную.

Экспериментальная структура подразумевает использование групп сравнения: экспериментальной (включает благополучателей) и контрольной (из числа лиц или объектов, не являющихся благополучателями). Сопоставление индикаторов оценки в обеих группах проводится, как правило, до начала действия программы и после окончания ее реализации. Набор как контрольной, так и экспериментальной группы проводится на основе случайной выборки.

Использование экспериментальной структуры уместно, когда требуется «взвесить» влияние программы на ее объект или целевую аудиторию путем сравнения с другими объектами, оказавшимися вне поля воздействия программы, например для реализации городской программы социальной помощи экспериментально выбран один микрорайон города. По завершении программы появляется возможность выяснить, появились ли качественные изменения благополучия горожан, для которых была разработана программа, по сравнению с теми, кто в программу не вошел.

Квазиэкспериментальная структура делает акцент на анализе динамических временных рядов, отражающих состояние объекта воздействия программы. Эта схема часто используется при оценке программ, нацеленных на предоставление общественных благ или улучшение социальной среды. Целевой аудиторией таких ПиП может быть все население города, и сформировать контрольную и экспериментальную группы невозможно, поскольку трудно отделить горожан, пользующихся общественными услугами, от тех, кто ими не пользуется.

Квазиэкспериментальная структура является наиболее эффективной для проверки причинно-следственных связей, однако существует важное условие ее применимости: наличие динамики данных по обеим группам сравнения до запуска программы.

Описательная структура используется в тех случаях, когда для оценки доступна только качественная информация или требуется быстрая экспертная оценка ситуации. Такая структура по сравнению с другими обладает как преимуществами – возможностью анализа качественной информации (мнения специалистов, реализующих программу, и благополучателей программы; анализ документации и т. д.), так и недостатками – незначительностью глубины исследования; погрешностями оценок, возрастающими из-за субъективности мнений.

Вне зависимости от вида дизайна каждая оценка включает в себя общую логическую схему оценки и рабочий план реализации ПиП, соответствующий выбранной логической схеме.

Логическая схема оценки предполагает выделение ряда важных моментов.

1. Мотивы проведения оценки могут быть различными и воз-никать на разных этапах реализации программы. Стороны, заинтересованные в оценке (будем называть их заказчиками), определяют необходимость и основные задачи ее проведения, а также собирают группу специалистов (своих коллег в случае внутренней оценки и специалистов из других организаций в случае внешней оценки), которые будут проводить оценку (назовем их исполнителями, оценщиками или экспертами). В роли заказчика могут выступать: коллектив авторов оцениваемой ПиП, исполнители ПиП, а также органы, контролирующие исполнение ПиП.

Исходной позицией формирования оценочного проекта явля-ется формирование задания по оценке, которое заказчик дает исполнителям. Для того чтобы работы по оценке были успешными и применялись на практике, заказчики и исполнители оценки должны четко представлять себе, каким образом и для чего будут использоваться результаты оценки.

2. Задание оценки формулируется, как правило, в виде вопро-сов, интересующих заказчика, на которые должен ответить оценщик. Вопросы оценки могут быть самыми разными. Они обсуждаются с исполнителями оценки. Данная процедура важна в процессе подготовки проекта, поскольку подобное обсуждение часто помогает заказчику более четко сформулировать задание по оценке, а  исполнителю – понять, для чего организуется проект. Бывает, что в результате такого обсуждения принципиально меняются изначально предложенные вопросы оценки и, соответственно, целевые установки всего проекта.

3. Выявление параметров оценки, которые подвергаются «прицельному» анализу (все проверить невозможно). В качестве параметров могут быть выделены: результативность ПиП, эффективность механизма выполнения ПиП, социально-экономический эффект, оказываемый ПиП на развитие.

4. Использование индикаторов оценки (количественное отражение параметров), представляющих собой ограниченный набор показателей. Выбор правильных индикаторов для описания того или иного параметра – сложная процедура. Хороший индикатор оценки должен обладать рядом признаков, к которым можно отнести следующие:

– измеряемость (показатель поддается количественному измерению в неизменных единицах);

– обоснованность (отражает то, что необходимо оценить);

– однозначность (имеет четкое общепринятое определение и единицы измерения);

– устойчивость (доступность временных, динамичных срезов данных по индикатору);

– доступность (данные для расчета доступны через традиционные источники информации).

Получив данные индикаторов оценки, можно приступать к собственно экспертизе программы, точнее тех ее параметров, которые отобраны для анализа.

Рабочий план проведения оценки включает в себя следующие пункты:

– какая информация необходима для проведения оценки;

– кто и на каких стадиях работы будет причастен к проведению оценки;

– какими методами и из каких источников оценщик получит необходимые данные;

– кто будет собирать информацию;

– какие методы анализа информации будут применяться;

– сколько времени уйдет на проведение оценки;

– какие ресурсы понадобятся для проведения всех работ по оценке.

Рабочий план проведения оценки разрабатывается по тем же стандартам, что и рабочие планы во всех других проектах: в нем оговаривается роль в проекте каждой из участвующих сторон; перечисляются конкретные работы, которые необходимо провести (техническое задание); приводятся график выполнения мероприятий по оценке, формы и сроки отчетности.

Вопросы для самоконтроля

1. Назовите причины, которые затрудняют на сегодняшний день выработку единого терминологического поля по тематике мониторинга и оценке проектов и программ в профессиональной среде экспертов.

2. В чем заключается миссия (предназначение) оценки?

3. Является ли правильным утверждение, что цели и задачи, которые ставит перед собой оценщик, могут быть сведены к некому общему стандарту в каждом конкретном случае?

4. Что следует понимать под общей целью проведения оценки?

5. Какие задачи решаются в процессе достижения общей цели оценки? Перечислите некоторые из них.

6. Что следует понимать под такими терминами, как «структура оценки» или «дизайн оценки»?

7. Какие виды структур оценки известны в оценочной практике?

8. Что подразумевается под «экспериментальной структурой» оценки?

9. Объясните значение термина «квазиэкспериментальная структура» оценки.

10. Что подразумевается под «описательной структурой» оценки?

11. Раскройте логическую схему оценки реализации ПиП.

12. Объясните, что представляют собой параметры и индикаторы оценки.

13. Назовите элементы рабочего плана проведения оценки.