4. Проблемы и ограничения экспертных оценок

4.1. Риски оценки

При проведении оценки ПиП оценщики сталкиваются с труд-ностями, которые могут оказать решающее влияние на успех оценки. Ведь оценка – сама по себе проект, и как у всех проектов у нее есть определенные риски. Как показывает практика, риски оценки в значительной мере стандартны и характерны для каждого этапа оценочных работ независимо от специфики программы и задания по оценке.

Согласно логике этапов проведения оценки, рассмотрим возможные риски, с которыми сталкиваются эксперты в оценочной практике.

Виды рисков подразделяются по следующим этапам или шагам алгоритма оценки.

Первый и второй этапы. Мотивация проведения оценки и оп-ределение целей и задач оценки:

– потенциальные заказчики могут ничего не знать об оценке и не видеть от нее пользы для себя;

– предполагаемые заказчики хотят работать с людьми, имею-щими опыт проведения оценки, а данный опыт можно приобрести только проводя оценку: образуется «замкнутый круг» для оценщика и приобретения опыта;

– заказчик хочет проводить оценку, но не знает точно, для чего она ему нужна;

– оценка заказывается для «третьей стороны»;

– мотивы проведения оценки – политические, но скрытые;

– заказчик оценки и руководство оцениваемой программы – разные структуры, при этом между ними есть конфликт интересов;

– заказчик устанавливает ограничения, которые делают невозможным качественное выполнение задания;

– задание оценки не соответствует ресурсным возможностям проекта;

– задание содержит вопросы, на которые невозможно получить ответ в определенных заказчиком рамках (например, объем необходимых работ не соответствует выделенным ресурсам – временным, финансовым, административным).

Третий этап. Планирование оценки:

– оценщика включают в уже сформированную команду. В ре-зультате ему приходится делать то, под чем он «не подписывался», но контракт уже заключен;

– бывает трудно заранее сказать, хватит ли источников информации для ответа на вопросы задания;

– заказчик настаивает на конкретной структуре оценки, не со-ответствующей заданию, необоснованно вмешивается в процесс планирования.

Четвертый этап. Сбор данных – начало оценочных работ:

– возникают организационные проблемы (невозможно органи-зовать встречи, нет места для проведения интервью и фокус-групп, у специалистов администрации нет времени, графики встреч срыва-ются);

– оцениваемая программа плохо написана: текст отличается небрежностью, нет четкой структуры, отсутствуют логика и причинно-следственная связь между элементами программы, не предусмотрены мониторинг и оценка программы;

– система реализации программы при отсутствии системы контроля выполнения отличается сложностью и запутанностью;

– источники информации недоступны;

– выбираются неправильные источники информации (теряется время на беседы с неинформированными людьми, при этом не заме-чаются действительно информированные);

– каждый последующий источник информации не добавляет новой информации к уже имеющейся;

– заказчик желает жестко контролировать процесс сбора данных;

– присутствует негативный эмоциональный фон: высокая социальная напряженность, конфликтная ситуация между администрацией и другими структурами, а также внутри администрации, проведение оценки в преддверии выборов;

– оценщик негативно воспринимается местными специалистами;

– оценщик предвзято (негативно или позитивно) относится к про-грамме, заказчику, объекту оценки);

– отсутствует информация. Данные отличаются низкой степенью достоверности. Данные из разных источников сильно различаются;

– информации слишком много, приходится выбирать между источниками информации.

Пятый этап. Анализ полученных данных:

– данные, факты, мнения резко противоречат друг другу;

– отдельные данные не вписываются в общую картину;

– недостаток данных обнаруживается, когда этап их сбора уже завершился;

– низкая квалификация оценщика;

– имеются важные, но не проверенные данные, на которые нельзя ссылаться;

– «внутренние» специалисты являются заинтересованной стороной;

– разные оценщики представляют разноформатные и противо-речивые данные;

– анализ данных проводит только один оценщик из всех, прини-мающих участие в проекте.

Шестой этап. Подготовка отчета:

– мало времени на подготовку отчета;

– необходимо соблюдать конфиденциальность, а также иметь в виду, о чем и как можно писать отчет и как он повлияет в будущем на все заинтересованные стороны;

– неправильно выбран «жанр» отчета, например обилие критики при отсутствии рекомендаций;

– отчет подготавливается параллельно со сбором и анализом данных;

– заказчик активно вмешивается в процесс подготовки отчета;

– оценщик не знает, кто конкретно будет читать отчет.

Седьмой этап. Использование результатов оценки:

– отчет не доходит до клиента или доходит с опозданием;

– заказчик не согласен с выводами оценки;

– результаты оценки в значительной степени отличаются от тех, которые ожидал получить заказчик;

– заказчик задает дополнительные, вне рамок задания, вопросы;

– заказчик пренебрегает результатами оценки при принятии уп-равленческих решений;

– нет обратной связи с заказчиком оценки;

– результаты оценки сознательно/несознательно неправильно интерпретируются заказчиком.

Большинство из перечисленных распространенных рисков оцен-ки трудно предугадать на этапе ее планирования, но все же это необходимо делать именно до начала оценочных работ. Тогда удастся минимизировать затраты, а также скорректировать структуру оценки в соответствии с имеющимися рисками.