9. Классификация экспертных оценок: стадия реализации, целевое назначение, характер проблем.

На основе мирового опыта классификаций наиболее часто в об-разовательных целях используется типология оценок по двум основа-ниям: 1) по стадии реализации оцениваемой программы; 2) по целе-вому назначению оценки.

По стадии реализации оцениваемой программы применя-ются следующие оценки:

– предварительная (formative assessment) – оценка до начала реа-лизации. Задача такой оценки – дать анализ качества самого проекта, его необходимости для социально-экономического развития и пред-полагаемой (ожидаемой) эффективности;

– промежуточная (intermediate evaluation) – оценка на стадии реализации. Задача данной оценки – корректировка для повышения эффективности и успешного завершения;

– обобщающая (summative evaluation) – оценка по завершении вы-полнения. Задача такой оценки: экспертиза результативности и эф-фективности, анализ причин ошибок и неудач, принятие адекватных управленческих решений.

По целевому назначению выделяются:

– оценка потребности (need assessment) – оценка социально-эко-номических условий, которые привели к необходимости реализации ПиП;

– оценка процесса реализации (process evaluation) – анализ каче-ства подготовки программ (состав и компетентность разработчиков, анализ методических материалов, экспертиза содержания и ресурс-ной обеспеченности программы);

– оценка результативности (outcomes evaluation) – экспертиза результатов, достигнутых в ходе реализации ПиП, сравнение факти-ческих результатов с запланированными;

– оценка эффективности (effectiveness evaluation) – сопоставле-ние результатов программы с затраченными в ходе ее реализации ре-сурсами. Главная задача – поиск наиболее эффективных (т. е. мини-мальных по ресурсным затратам) вариантов решения проблемы;

– оценка «затраты–выгоды» (cost–benefit analysis) – анализ, по-зволяющий определить соотношение всех затрат и выгод ПиП в де-нежном исчислении; эффективным считается тот проект, совокупная выгода от реализации которого превышает сумму затраченных на него средств;

– оценка продуктивности (efficiency assessment) – измерение позитивных результатов и прочих благ, предоставляемых ПиП, в рас-чете на одного реципиента (благополучателя);

– оценка влияния (impact evaluation):

а) выявление причинно-следственных связей между парамет-рами развития и мероприятиями ПиП;

б) оценка степени воздействия программы на социально-эконо-мическое развитие (например, территории).

Выбор типа оценки при экспертизе конкретных ПиП определя-ется целью и заданием на проведение оценки. В мировой практике основным критерием качества оценки выступает практическое использование ее результатов. Оценку ПиП можно считать удачной (независимо от выводов) только в том случае, если ее результаты используются в практике управления.

10. Элементарные приёмы получения количественных параметром оценок.

При анализе данных, собранных для проведения экспертизы и получения ее количественных оценок, эксперт-оценщик может применять различные методы, заимствованные из эконометрики, математической статистики и пр. В этом смысле арсенал средств зависит от профессионализма самого оценщика, а также от степени соответствия методов оценки объекту оценки¹.

Из совокупности наиболее часто используемых методов обработки информации, находящихся в распоряжении современного эксперта, можно выделить элементарные приемы и комплексные методы, которые применяются для наиболее сложных видов оценок, таких как оценка эффективности проекта или оценка воздействия.

Элементарные приемы

К наиболее распространенным элементарным приемам, исполь-зуемым для обработки информации при экспертной оценке, можно отнести следующие.

1. Статистический анализ качественных и количественных показателей.

Средние величины могут быть среднеарифметические, медианные и модальные.

Среднеарифметическая величина определяется суммированием полученных индивидуальных показателей с последующим делением на количество респондентов или объектов, к которым эти индивидуальные показатели относятся. Данный показатель очень чувствителен к увеличению или уменьшению доли высоких или низких значений.

Чтобы получить медианную величину, следует проранжировать показатели в порядке убывания или возрастания и за среднюю вели-чину принять показатель серединной позиции в данном ранжире, т. е. выше и ниже которого находится одинаковое число респондентов или объектов.

Медианные показатели отличаются от среднеарифметических тем, что они принадлежат действительному объекту или респонденту, в отличие от среднеарифметических, которые в действительности могут никому не принадлежать. (Известная шутка про «среднюю температуру по больнице» свидетельствует о том, что «средняя темпера-тура» может быть нормальной, а в действительности нет ни одного пациента с такой температурой.) Модальная величина – это показатель, который наиболее часто встречается в данной совокупности.

Относительные величины – это уровни и индексы, которые призваны показать относительные изменения в исследуемом явлении или процессе. Показатели уровней представляются в процентах. Индексы – это, как правило, безразмерные величины, поскольку они получаются при сопоставлении уровней.

При расчете относительных показателей важно правильно определиться с «точкой отсчета», т. е. с тем, какой параметр будет играть роль основания, приравниваться к 100 %.

Если знаменатель дроби не меняется, то такие относительные величины будут называться базовыми индексами, а если соотношение строится по логике: от последующего к предыдущему, то – цепными.

Расчеты средних величин применяются для выявления тенден-ций с помощью трендового упорядочивания показателей, которое заключается в экстраполяции выровненных значений динамического временного ряда показателя. Такой прием используется для показателей либо монотонно возрастающих, либо монотонно убывающих; для расчета трендовых функций показателей используются математические зависимости.

К статистическому анализу качественных и количественных показателей относятся статистические распределения и их ключевые параметры, выборочные наблюдения.

Приведем примеры интересных выводов, полученных на осно-ве методов статистических распределений².

Так, анализируя общественные процессы, В. Парето рассмотрел социальную среду как пирамиду, на вершине которой находятся люди, составляющие элиту. В 1906 г. Парето установил, что пример-но 80 % земли в Италии принадлежит лишь 20 % ее жителей. Он при-шел к заключению, что параметры полученного им распределения приблизительно одинаковы и принципиально не различаются в разных странах и в разное время. Парето также установил, что точно такая же закономерность наблюдается и в распределении доходов между людьми. Распределению по Парето присуще свойство устойчивости, т. е. сумма двух случайных переменных, которые имеют распределение Парето, также будет распределена по Парето. Замеченное распределение, называемое «законом Парето» или «принципом 80/20», применимо в очень многих областях. Например, при информационном поиске достаточно определить 20 % важнейших ключевых слов, чтобы найти 80 % необходимых документов, а затем расширить поиск или воспользоваться опцией «найти похожие» для полного решения задачи.

Закономерность С. Бредфорда, известного специалиста по обработке документов, одного из авторов универсальной десятичной классификации (УДК) состоит в следующем: если научные журналы расположить в порядке убывания числа помещенных в них статей по конкретному предмету, то полученный список можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету было одинаковым. Эти три зоны представляют: 1) профильные журналы, непосредственно посвященные рассмотренной тематике; 2) журналы, частично посвященные заданной области; 3) журналы, тематика которых довольно далека от рассмотренного предмета.

Вначале Бредфорд рассматривал найденную закономерность только для системы периодических изданий по науке и технике. Однако в дальнейшем оказалось, что эта же закономерность справедлива и для периодических изданий из многих других предметных областей, а также для наборов веб-сайтов, относящихся к некоторой выбранной тематике.

2. Некоторые способы оценки влияния.

Как правило, способы оценки влияния позволяют решать три основные задачи на основе применения корреляционно-регрессион-ного анализа: 1) определение формы связи между результативным и факторным признаком (регрессия); 2) измерение тесноты связи между ними (корреляция); 3) анализ влияния факторных признаков (детерминация, эластичность).

Для решения каждой из трех указанных задач анализируемые параметры делят на эндогенные (зависимые) переменные, которые являются результативными в анализе, и экзогенные (независимые) переменные величины, которые полагаются как факторные признаки.

Так, степень тесноты связи оценивается коэффициентами, из-меняющимися в пределах от нуля до единицы. Малое значение коэф-фициента свидетельствует о слабой связи, а значение, близкое к единице, характеризует очень сильную связь и часто позволяет предположить наличие функциональной причинно-следственной связи (табл. 3.1.)

Таблица 3.1

Таблица качественной оценки степени тесноты связи на основе коэффициента корреляции

Коэффициент корреляции	Теснота связи
 0,91+1,00	Очень сильная
 0,81+0,90	Весьма сильная
 0,65+0,80	Сильная
 0,45+0,64	Умеренная
 0,25+0,44	Слабая
До  0,25	Очень слабая

Как правило, первым этапом анализа должна быть проверка данных на соответствие закону нормального распределения. Для на-чала данные обрабатываются в соответствии с гипотезой о нормаль-ном (гауссовском) законе распределения данных. Пороговое значение коэффициента корреляции 0,05.

Коэффициент корреляции находится на основе стандартных систем типа STADIA (считаются коэффициент ранговой корреляции Спирмена; коэффициент корреляции Пирсона).

3. Анализ «затраты–выгоды» (от англ. cost-benefit analysis).

С помощью данного анализа измеряются совокупные затраты и выгоды каждой альтернативы оцениваемого проекта при использо-вании одной и той же единицы измерения, как правило, это деньги. Данный анализ позволяет выявить тот вариант ПиП, который имеет наибольший коэффициент отношения выгод к затратам. Анализ «за-траты–выгоды» возможен только в том случае, если все составля-ющие «выгод» и «затрат» могут быть представлены в денежном выражении. Если же речь идет об этических, эстетических, политических, психологических составляющих, то его применение невозможно.

Применение анализа «затраты–выгоды» берет начало из инже-нерной практики, когда требовалось оценить целесообразность воз-ведения инженерных сооружений. (Конкретно речь шла о возведении дамбы для военных целей инженерными подразделениями армии США. Подсчитывали денежные выгоды от увеличения урожайности, умень-шения вреда от наводнений и прочего и сравнивали получившуюся сумму с ценой дамбы и посевных площадей и с затратами на воз-мещение расходов на жилье.) Анализ «затраты–выгоды» применяется также при разработке транспортных ПиП.

Анализ «затраты–выгоды» успешно применяется в оценке стои-мости бизнеса, полезен для всех видов оценки его стадий – предварительной, промежуточной, завершающей.

Разновидностью оценки «затраты–выгоды» является оценка бюджетной эффективности в производстве общественных благ.