79. Методика проведения программной оценки.

Оценка государственных программ, ее типы.

Общая роль оценки в государственном менеджменте заключается в проведении мер всестороннего и постоянного отслеживания и корректировки хода реализации различных мероприятий государственного менеджмента таких, например, как государственная целевая программа или ситуативное решение. Тем самым оценка обеспечивает обратные связи между органом и объектом управления.

Типы оценок

В программном менеджменте используются перспективная, текущая и итоговая оценки.

Можно сказать, что задачи оценки выступают основаниями выделения трех основных типов оценки:

Оценка целей и планируемых мероприятий программы или перспективная оценка включает анализ различных альтернатив решения проблемы, обоснованность выбранного направления, верифицируемость показателей приближения к поставленным целям, мотивацию предполагаемых вовлеченных в программу групп и организаций, финансовую обеспеченность планируемых мероприятий. Перспективная оценка представляет собой вид прогноза последствий (явных и неявных) выполнения программы.

Оценка хода процесса выполнения или текущая оценка (промежуточная, диагностическая, мониторинг) программ включает изучение методов управления, их эффективности, способностей и возможностей организационных структур справиться с поставленными задачами, способности мобилизовать имеющиеся ресурсы, компетентность руководителей и пр.

Текущая оценка программы – это постоянное отслеживание хода работ (в рамках программы, проекта или организации) для сравнения текущего состояния дел с планом. Текущая оценка проводится для получения оперативной информации о состоянии дел. Важнейшая ее часть – показатели (индикаторы), по которым можно судить о ходе выполнения программы. Текущая оценка должна быть «встроена» в программу с самого начала. Для этого необходимо сделать следующее:

− Определить измеряемые показатели (индикаторы), по которым можно будет отслеживать ход программы.

− Установить источники информации для проведения текущей оценки (организации, отделы, отдельные люди или группы людей, документы и т.д.).

− Выбрать методы сбора информации.

− Определить частоту и график сбора информации с учетом интенсивности оцениваемой деятельности.

− Назначить ответственных за получение необходимой информации и договориться с теми, кто эту информацию будет предоставлять.

− Определить технологию обработки и анализа получаемой информации.

− Спланировать, как и кому будут переданы данные текущей оценки, а также, кто и как будет их использовать.

− Учесть в бюджете программы расходы, необходимые для проведения текущей оценки.

Оценка результатов или итоговая оценка программ (завершающая, обобщающая) предполагает изучение того, в какой степени были выполнены поставленные задачи и цели, удалось ли полностью осуществить запланированные мероприятия и достичь соответствующих показателей.

Именно здесь, пожалуй, самыми трудными проблемами являются неясно поставленные цели и отсутствие набора хорошо измеряемых показателей. Это проблемы оцениваемости выбранного объекта, так как не все социальные явления поддаются количественной оценке. Оценка результатов включает оценку экономической эффективности, которая проводится на основании двух методов : издержки - выгоды, издержки - эффективность. Она позволяет определить насколько рационально были израсходованы соответствующие ресурсы, выделенные подданную программу. По выводам итоговой оценки выносится суждение об эффективности программы и формулируются рекомендации на будущее.

Перспективная оценка	Текущая оценка	Итоговая оценка
Проводится перед началом осуществления программы Анализируются прогнозы возможных последствий реализации программы Полученная информация используется для решения о начале выполнения программы и корректи- ровке ее целей и содержания.	Проводится непрерывно Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для улучшения работы по программе	Проводится на ключевых этапах реализации программы Анализируются причины достижения/не достижения запланированных результатов Полученная информация может использоваться как для улучшения работы по данной программе, так и для уточнения планов на будущее

Оценка может проводиться как исходя из внутренних потребностей выполнения программы, так и по заказу внешних структур (спонсоров программы). В государственном менеджменте особую значимость имеет внутренняя оценка, поскольку этот тип оценки связан с воплощением на практике концепции «управления, ориентированного на цели».

Исторически сложилось так, что основными потребителями результатов

оценки и, следовательно, основной группой лиц, формулирующих вопросы для ее

проведения, стали те, кто эту оценку финансировал. Однако этот акцент начал

смещаться. Эксперты понимают, что существуют различные группы “спонсоров”,

которые имеют законное право знать, какую “продукцию” производит программа.

К числу “ спонсоров ” могут принадлежать:

• заказчики программы

• менеджеры программы

• непосредственные клиенты программы

• перспективные клиенты программы

Проведение программной оценки, как

правило, включает следующие основные этапы:

1. Постановка цели.

2. Определение задания на проведение оценки.

3. Планирование оценки. Определение методов и

инструментов для сбора информации.

4. Сбор информации.

5. Анализ информации.

6. Подготовка отчета.

7. Сообщение о результатах оценки.

Структура оценки - это определенный способ организации собранной информации для представления ее в виде системы показателей, позволяющий ответить на основные вопросы оценки. Используются две основные структуры оценки: экспериментальная и квазиэкспериментальная.

Экспериментальная структура основана на принципе выделения и сравнения эквивалентных групп населения, одна из которых является объектом воздействия программы (экспериментальная группа), а другая - контрольной. Контрольная группа должна соответствовать экспериментальной по всем параметрам, исключая лишь само участие в программе.

Однако, на практике обеспечить чистоту сравнения экспериментальной и контрольной групп населения достаточно сложно и дорого, чаще используется квазиэкспериментальная структура оценки.

Квазиэкспериментальная структура — это структура, в которой игнорируется одна или более особенностей, характерных для настоящего эксперимента (воздействия программы). В этом случае контрольная группа берется из той же социальной и экономической среды, что и экспериментальная («отбор по подобию»), им задают одинаковые вопросы при интервьюировании. При использовании квазиэкспериментальных подходов экспериментальная и контрольная группы выбираются после осуществления программы с использованием методов статистики, т.е. выборка не носит случайный характер, как при экспериментальном подходе.

При оценках программ и проектов довольно часто и успешно используются две квазиэкспериментальные структуры:

• Структура на основе временных рядов или прерванных временных рядов;

• Структура с использованием неэквивалентной контрольной группы. Структура на основе временных рядов позволяет нам увидеть, меняются ли

существующие системы при введении проекта.

Структура на основе временных рядов определяет состояние объекта воздествия программы до, во время и после выполнения программы.

Неэквивалентная контрольная группа - или "группа сравнения" позволяет нам увидеть, отличаются ли результаты экспериментальной группы по какому-либо соответствующему показателю - до и после вмешательства прграммы - от результатов «группы сравнения», - похожей группы, но не укомплектованной по принципу случайной выборки, как контрольная группа.

Квазиэкспериментальные структуры более практичны, нежели настоящие эксперименты, но также используются нечасто. Если оценка проводится слишком поздно, если есть временные или финансовые ограничения, то приходится использовать более слабые неэкспериментальные структуры, а их способность показать причинно-следственные отношения ослабевает. Неэкспериментальные структуры не учитывают столько особенностей экспериментальной или квазиэкспериментальной структуры, что их нельзя назвать в полном смысле слова научными.

Выбор критериев оценки может быть произведен на нескольких основаниях: ожидания, связанные с теорией программ, принятие решений, относительное влияние заинтересованных групп, предпочтения стейкхолдеров, неясности в базе знаний, факторы времени, денег и навыков.

Иногда показатели эффективности устанавливаются до начала работ. Часто это нерационально, так как цифры берутся произвольно и реальной картины никак не отражают. Поэтому большую важность имеет вопрос, как оценивать эффективности показателей изменений. В таких случаях имеет смысл обратиться к опыту аналогичных программ, проводившихся ранее, и сравнивать свои результаты с теми, которые были получены ранее.

При разработке системы оценки используют разные шкалы измерения: номинальную, ординальную, интервальную, относительную.

При номинальном измерении числа присваиваются категориям, таким как религиозная принадлежность, род занятий, пол. Эти числа не имеют никакого математического значения, они просто обозначают разные категории. Существует два требования для номинальных величин: необходимо, чтобы категории были взаимоисключающими и исчерпывающими, так, чтобы каждое наблюдение могло быть классифицировано как принадлежащее к одной категории. Подобные величины помогают в при статистическом анализе данных.

Ординальные (порядковые) величины представляют собой иерархическое упорядочивание данных. Они позволяют увидеть, в какой мере объект обладает тем или иным качеством.

402

Интервальные величины позволяют не только проранжировать переменные, но и выразить их количественно. Предполагается, что большинство индексов представляют собой интервальные величины.

Относительные величины обладают всеми характеристиками номинальных, порядковых и интервальных величин, но также имеют точку абсолютного нуля. Аналитики предпочитают использовать относительные и интервальные величины в первую очередь, к номинальным же обращаются в том случае, если нет другого способа анализа.

Мера отличается от индикатора тем, что индикатор должен быть, как минимум, порядковой величиной и иметь определенное направление (как правило, уже перед началом анализа мы знаем, в каком направлении может изменяться индикатор).

Обоснованность критериев оценки — один из способов оценки обоснованности полученных показателей. Необходимо, чтобы предложенные вами критерии соотносились друг с другом.

Другой способ оценки обоснованности показателей - анализ конструктивной обоснованности, которая сильно зависит от теоретически аргументов. Необходимо проанализировать связь между показателями в данном регионе, полученными в ходе реализации программы, с показателями в других регионах, где проводились похожие программы. Важно использовать теоретический материал со сведениями о том, какие показатели свидетельствовали бы об эффективности данной программы.

Надежность является одной из важнейших характеристик любого показателя. Она особенно важна, когда для анализа ситуации в регионе используются различные анкеты, опросники и интервью. Очень сложно правильно оценить, чем руководствуется человек, отвечая на предложенные вопросы. Возможно, в определенный момент времени его ответ зависит от душевного состояния или настроения, что, несомненно, окажет влияние на результаты опроса. Другим аспектом надежности показателей является следующее: сведения, которые используются для анализа, могут быть неточными и устаревшими.

Существует несколько способов проверки надежности полученных в результате исследования данных. Во-первых, можно перепроверить сведения путем проведения повторного опроса. Во-вторых, надо убедиться в том, что оценки экспертов справедливы. Для этого следует разработать шкалу для оценки показателей, чтобы результаты реализации программы оценивались по одним параметрам.

Все показатели оценки должны иметь свою направленность, т.е. необходимо заранее установить, как должны измениться параметры. Другими словами, надо знать, как могут измениться показатели в ходе реализации программы, какое изменение можно считать положительным, а какое отрицательным.

Восприимчивость к изменениям - важное качество любого показателя. Чтобы полученные данные оказались надежными и точными надо тщательно прорабатывать вопросы для интервью и анкет. Варианты ответов должны быть как можно более многогранными, т.е. если в предложенном вами ответе будет всего два или три варианта, то восприимчивость к изменениям во мнениях будет низкая. Для того чтобы получить более полную картину ситуации надо давать людям возможность полностью выразить свое мнение и отношение к происходящему.

Вопросы должны касаться актуальных событий, которые происходят либо в настоящее время, либо произошли в ближайшем прошлом.

При разработке системы оценки эффективности программы не следует завышать ожидаемые показатели - все должно быть реалистично и достижимо.

Надо основывать анализ ситуации в регионе на той информации, которая доступна.