Различия мониторинга и оценки
МОНИТОРИНГ |
ОЦЕНКА |
Проводится непрерывно
Модель принимается в существующем виде без изменений
Запланированные деятельность и результаты сравниваются с фактическими
Полученная информация используется для улучшения работы по проекту |
Проводится на ключевых этапах реализации проекта
Модель подвергается анализу с целью оптимизации/улучшения
Анализируются причины достижения/не достижения запланированных результатов
Полученная информация может использоваться как для улучшения работы по данному проекту, так и для уточнения планов на будущее |
Спонсоры ранее считали, что для получения информации о результатах проекта им придется ждать его окончания и проведения оценки. Сейчас многие спонсоры требуют, чтобы системы наблюдения за ходом программ (мониторинг) предоставляли им информацию, позволяющую определить состояние проекта (или ситуацию) по ключевым показателям на протяжении всего срока выполнения проекта или программы.
Если эксперт по оценке или мониторинг за ходом проекта выявит, что фактические результаты проекта очень близки к запланированным, то можно с уверенностью сделать вывод, что проект успешно развивается в направлении решения поставленных задач.
Однако, если эксперт по оценке или мониторинг за ходом проекта продемонстрируют, что фактические результаты проекта превышают запланированные или не достигают их, то потребуется выявление причин. В этом случае вопрос звучит так: “что нужно проанализировать для определения причин, по которым проект развивается не так, как ожидалось?”
Существуют две области, которые нужно анализировать во всех случаях несовпадения фактических результатов с планируемыми – 1) действительно ли осуществлялась деятельность и 2) верны ли исходные предположения по проекту.
Исходные предположения – это факторы, которые находятся за пределами прямого контроля проекта.
Иногда в ходе оценки задают еще один вопрос: “Чего достиг (или достигает) данный проект?” Этот вопрос является более широким, нежели вопрос, при ответе на который нужно было просто сопоставить запланированную работу с фактической.
Во-первых, оценка, в ходе которой задан вопрос, чего достиг проект, расширяет свой масштаб за счет охвата всех результатов проекта, а не только конкретного комплекса планируемых результатов. Во-вторых, оценка, в ходе которой задан вопрос, чего достиг проект, заставляет эксперта добиться разумной уверенности в том, что изложенные им в отчете результаты действительно вызваны проектом, а не другими причинами. Используемый экспертом подход для выяснения того, вызвала ли деятельность по программе определенный результат, в большой степени зависит от того, когда ему зададут этот вопрос.
Если проведение оценки заказывают только в конце проекта, то эксперты могут обнаружить: единственный доступный им подход – работать «в обратном направлении», отталкиваясь от ситуации, в которой, по их мнению, наблюдаются результаты программы, и попытаться установить, какую роль сыграли проект или программа в создании этих условий.
Эксперты по оценке могут задать следующие вопросы:
“Что могло послужить причиной данного результата?”
“Известно ли вам о проекте “X”? Есть ли основания считать, что причиной данного результата мог стать проект “X”?”
“Какие другие виды деятельности в области данного проекта могли вызвать данный результат?
“Существует ли государственная программа, которая могла вызвать данный результат?»
“Известно ли вам о каких-либо других финансируемых из частных средств программ, которые могли привести к данному результату?”
При такой структуре причинно-следственные отношения устанавливаются путем тщательного изучения существующей информации по принципу ex post facto для выявления вероятных причинных факторов.
Оценка такого типа -- по принципу ex post -- не позволяет эксперту доказать, что проект являлся единственной или даже основной причиной конкретного результата. Тем не менее могут быть представлены некоторые доказательства, которые сделают этот вывод правдоподобным – они не столько являются абсолютными доказательствами, сколько обеспечивают разумную вероятность того, что проект, несомненно, был одним из факторов, приведших к какому-либо результату или достижению, обусловленному проектом.
Вопрос атрибуции – установления того, что проект является причиной (или одной из нескольких причин) конкретного комплекса результатов - всегда являлся одним из труднейших вопросов оценки. В большинстве случаев достаточно показать обоснованную вероятность того, что проект или программа ответственны за комплекс наблюдаемых результатов. Однако в некоторых случаях необходимо пойти дальше и не просто продемонстрировать “вероятную связь” между программой и изменениями – или результатами, -- которые должна была вызвать программа. Такая уверенность во взаимосвязи между деятельностью и результатом необходима, например,
При планируемом внедрении нового лекарства до его поступления в продажу
При планируемом тиражировании «пилотного проекта» до того, как он будет тиражирован в общенациональном масштабе
Проверки новых медицинских препаратов нередко обладают многими характерными особенностями лабораторных экспериментов. Однако, когда мы имеем дело с социальными программами и другими видами проектов развития, воссоздать лабораторные условия почти невозможно. В результате эксперты по оценке выработали подходы, которые называют «квазиэкспериментальными» и используют в следующих случаях:
Проверка исходных положений программы считается очень важной
У эксперта есть возможность провести такую проверку до начала выполнения проекта или программы
Квазиэкспериментальная структура – это структура, в которой игнорируется одна или более особенностей, характерных для настоящего эксперимента.
При оценках программ и проектов довольно часто и успешно используются две квазиэкспериментальные структуры:
Структура на основе временных рядов или прерванных временных рядов;
Структура с использованием неэквивалентной контрольной группы.
Структура на основе временных рядов позволяет нам увидеть, меняются ли существующие системы при введении проекта.
____________________
_____________________/
T1 T2 T3 T4 T5 T6 T7
Начало
проекта
Структура на основе временных рядов определяет состояние субъекта программы – людей, растений или животных – до, во время и после выполнения программы.
Неэквивалентная контрольная группа – или “группа сравнения” позволяет нам увидеть, отличаются ли результаты экспериментальной группы по какому-либо соответствующему показателю – до и после вмешательства проекта – от результатов «группы сравнения», -- похожей группы, но не укомплектованной по принципу случайной выборки, как контрольная группа.
Группа |
Показатель Начало проекта (тестирование до проекта) |
Показатель После оказания услуг по проекту (тестирование после проекта) |
Экспериментальная группа
|
20 |
40 |
Группа сравнения
|
20 |
20 |
Квазиэкспериментальные структуры более практичны, нежели настоящие эксперименты, но также используются нечасто. Если оценка проводится слишком поздно, если есть временные или финансовые ограничения, то приходится использовать более слабые неэкспериментальные структуры, а их способность показать причинно-следственные отношения ослабевает. Неэкспериментальные структуры не учитывают столько особенностей экспериментальной или квазиэкспериментальной структуры, что их нельзя назвать в полном смысле слова научными.
Примеры:
Одна и та же группа до и после проекта.
Данная структура изучает только тех, кто получил услуги в рамках проекта.
Она определяет изменения в период действия проекта, но в самой структуре не содержится ничего, что помогло бы показать: наблюдаемые изменения вызваны именно проектом, а не иными внешними факторами.
Две группы – только после выполнения проекта.
Эта структура изучает показатели тех, кто получил услуги в рамках проекта, а также показатели состояния лиц, не получивших такие услуги. Проблема в данном случае в том, что у нас нет надежных доказательств, свидетельствующих о сходстве двух групп до начала проекта.
Одна группа – только после проекта
Это самая слабая структура. У нас есть только показатели состояния группы, получившей услуги в период выполнения проекта. Мы не знаем, произошли ли изменения, не говоря уже о том, вызваны ли эти изменения проектом.
Какую структуру лучше использовать при оценке вашей программы?
Всегда выбирайте самую простую
структуру, которую можете использовать,
не жертвуя при этом возможностью
отвечать на вопросы, поставленные в ходе
оценки.
1 Scriven, Michael. The Logic of Evaluaion. Inverness, CA: Edgepress, 1980, p. 19.
2 Scriven, M. “New Frontiers in Evaluation,” Evaluation Practice, 1986, Number 7, p. 7-44.
3 Suchman, E. A. Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York: Russell Sage Foundation, 1967, p. 7.
4 Там же.
5 Weiss, Carol. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ, Prentice-Hall, 1972, p. 4 .
6 Weiss, C. “Evaluating Social Programs: What Have We Learned?” Society, 1987, 25 (1), p. 7/
7 Rossi, Peter H. and Howard E. Freeman. Evaluation: A Systematic Approach. 1985, p. 378.
8 Там же.
9 Там же.