8. Экспертные оценки в системе менеджмента качества - основные характеристики.

8.1Понятие, цели и задачи экспертных оценок

В общеупотребительном смысле «оценка» – суждение о ценности (стоимости или значении) и достоинствах объекта оценки. Говоря о МЭОц как об аналитической дисциплине, следует понимать ее как экспертизу программ и проектов (ПиП), направленную на анализ качества, произведенного эффекта на основе доступной информации, и сравнение этих результатов с другими подобными результатами по определенным количественным показателям. Таким образом, в задачи оценки входит не только суждение о программе или проекте, но и определение критериев суждения, по которым оцениваются достоинства, ценность, качество, эффективность, значение и практика реализации ПиП.

Сферы применения МЭОц разнообразны. Как уже отмечалось, сообщество оценщиков, принадлежащих к разным управленческим и аналитическим школам, пока не выработало единого терминологического поля по тематике мониторинга и оценки проектов и программ. Это объясняется несколькими причинами:

– разными механизмами общественного управления территорией и хозяйствующих субъектов;

– различным влиянием внешних факторов среды;

– долговременностью реализации проектов и программ, которая протекает в меняющихся политических и экономических условиях.

Поскольку пока нет способов и вариантов снятия данных различий, некорректно говорить о создании универсальной для всех объектов методики оценки. Будем вести речь о методах проведения оценки, использование которых приемлемо при соблюдении ряда общих принципов и логики оценочной деятельности. При оценке же конкретных программ и проектов выбирать задачи, параметры оценки и способы их измерения необходимо в каждом случае отдельно.

Предназначение МЭОц или их миссия состоит в том, чтобы выяснить, насколько успешна оцениваемая программа или проект. Но трудно ответить на вопрос «что есть успех?», поскольку критерии успешности могут быть самыми разными. Ведь известен и применим парадоксальный вариант «чем хуже, тем лучше». Все зависит от того, кто заинтересован в проведении оценки, какие результаты хочет получить заказчик и как он будет их использовать. Следовательно, цели и задачи, которые ставит перед собой оценщик в каждом конкретном случае, самые разные. Это вывод является одним из основополагающих при проведении оценок.

Общую же цель проведения оценки можно определить как содействие рациональному процессу управления по выбору целей и релевантных средств их достижения в конкретных обстоятельствах места и времени. В социально-управленческом контексте – это содействие эффективному социально-экономическому развитию через совершенствование процедур планирования и управления процессами социально-экономического развития. Внедрение устойчивой системы оценки позволяет обеспечить преемственность социально-экономической политики, сделать оценку стандартной, неотъемлемой процедурой в рамках системы управления.

В процессе достижения общей цели оценки решается целый ряд задач, набор которых может быть различным. Назовем следующие задачи:

– корректировка содержания программы – уточнение целей и задач, переориентирование программы на достижение реалистичных результатов и т. д.;

– активизация работы по выполнению программы – экспертиза эффективности организации по выполнению программы, вовлечение в работу новых исполнителей, повышение эффективности сбора данных, экспертиза дополнительных потребностей и пр.;

– анализ причин успехов и неудач в ходе выполнения программы;

– учет ошибок и недостатков программы при разработке других проектов;

– привлечение внимания общественности к программе;

– обеспечение текущего финансирования и привлечение дополнительного;

– информирование лиц и организаций, принимающих решение;

– анализ разногласий, возникающих среди исполнителей в ходе реализации программы.

8.2 Структура, или дизайн оценки

Структура оценки, или дизайн оценки, или ее планирование (не устоявшаяся терминология в оценочной практике и теории) – это методическая основа оценочного проекта, которая формулируется в соответствии с его целями и задачами.

В оценочной практике различают несколько видов структур оценки: экспериментальную, квазиэкспериментальную и описательную.

Экспериментальная структура подразумевает использование групп сравнения: экспериментальной (включает благополучателей) и контрольной (из числа лиц или объектов, не являющихся благополучателями). Сопоставление индикаторов оценки в обеих группах проводится, как правило, до начала действия программы и после окончания ее реализации. Набор как контрольной, так и экспериментальной группы проводится на основе случайной выборки.

Использование экспериментальной структуры уместно, когда требуется «взвесить» влияние программы на ее объект или целевую аудиторию путем сравнения с другими объектами, оказавшимися вне поля воздействия программы, например для реализации городской программы социальной помощи экспериментально выбран один микрорайон города. По завершении программы появляется возможность выяснить, появились ли качественные изменения благополучия горожан, для которых была разработана программа, по сравнению с теми, кто в программу не вошел.

Квазиэкспериментальная структура делает акцент на анализе динамических временных рядов, отражающих состояние объекта воздействия программы. Эта схема часто используется при оценке программ, нацеленных на предоставление общественных благ или улучшение социальной среды. Целевой аудиторией таких ПиП может быть все население города, и сформировать контрольную и экспериментальную группы невозможно, поскольку трудно отделить горожан, пользующихся общественными услугами, от тех, кто ими не пользуется.

Квазиэкспериментальная структура является наиболее эффективной для проверки причинно-следственных связей, однако существует важное условие ее применимости: наличие динамики данных по обеим группам сравнения до запуска программы.

Описательная структура используется в тех случаях, когда для оценки доступна только качественная информация или требуется быстрая экспертная оценка ситуации. Такая структура по сравнению с другими обладает как преимуществами – возможностью анализа качественной информации (мнения специалистов, реализующих программу, и благополучателей программы; анализ документации и т. д.), так и недостатками – незначительностью глубины исследования; погрешностями оценок, возрастающими из-за субъективности мнений.

Вне зависимости от вида дизайна каждая оценка включает в себя общую логическую схему оценки и рабочий план реализации ПиП, соответствующий выбранной логической схеме.

Логическая схема оценки предполагает выделение ряда важных моментов.

1. Мотивы проведения оценки могут быть различными и воз-никать на разных этапах реализации программы. Стороны, заинтересованные в оценке (будем называть их заказчиками), определяют необходимость и основные задачи ее проведения, а также собирают группу специалистов (своих коллег в случае внутренней оценки и специалистов из других организаций в случае внешней оценки), которые будут проводить оценку (назовем их исполнителями, оценщиками или экспертами). В роли заказчика могут выступать: коллектив авторов оцениваемой ПиП, исполнители ПиП, а также органы, контролирующие исполнение ПиП.

Исходной позицией формирования оценочного проекта явля-ется формирование задания по оценке, которое заказчик дает исполнителям. Для того чтобы работы по оценке были успешными и применялись на практике, заказчики и исполнители оценки должны четко представлять себе, каким образом и для чего будут использоваться результаты оценки.

2. Задание оценки формулируется, как правило, в виде вопро-сов, интересующих заказчика, на которые должен ответить оценщик. Вопросы оценки могут быть самыми разными. Они обсуждаются с исполнителями оценки. Данная процедура важна в процессе подготовки проекта, поскольку подобное обсуждение часто помогает заказчику более четко сформулировать задание по оценке, а  исполнителю – понять, для чего организуется проект. Бывает, что в результате такого обсуждения принципиально меняются изначально предложенные вопросы оценки и, соответственно, целевые установки всего проекта.

3. Выявление параметров оценки, которые подвергаются «прицельному» анализу (все проверить невозможно). В качестве параметров могут быть выделены: результативность ПиП, эффективность механизма выполнения ПиП, социально-экономический эффект, оказываемый ПиП на развитие.

4. Использование индикаторов оценки (количественное отражение параметров), представляющих собой ограниченный набор показателей. Выбор правильных индикаторов для описания того или иного параметра – сложная процедура. Хороший индикатор оценки должен обладать рядом признаков, к которым можно отнести следующие:

– измеряемость (показатель поддается количественному измерению в неизменных единицах);

– обоснованность (отражает то, что необходимо оценить);

– однозначность (имеет четкое общепринятое определение и единицы измерения);

– устойчивость (доступность временных, динамичных срезов данных по индикатору);

– доступность (данные для расчета доступны через традиционные источники информации).

Получив данные индикаторов оценки, можно приступать к собственно экспертизе программы, точнее тех ее параметров, которые отобраны для анализа.

Рабочий план проведения оценки включает в себя следующие пункты:

– какая информация необходима для проведения оценки;

– кто и на каких стадиях работы будет причастен к проведению оценки;

– какими методами и из каких источников оценщик получит необходимые данные;

– кто будет собирать информацию;

– какие методы анализа информации будут применяться;

– сколько времени уйдет на проведение оценки;

– какие ресурсы понадобятся для проведения всех работ по оценке.

Рабочий план проведения оценки разрабатывается по тем же стандартам, что и рабочие планы во всех других проектах: в нем оговаривается роль в проекте каждой из участвующих сторон; перечисляются конкретные работы, которые необходимо провести (техническое задание); приводятся график выполнения мероприятий по оценке, формы и сроки отчетности.