3.2. Алгоритм проведения оценки проектов и программ

Обращаясь к вопросу об анализе данных при проведении экс-пертной оценки, обратим внимание на последовательность действий (алгоритм) проведения оценки.

Последовательность действий при оценке проектов и программ включает в себя 7 шагов:

Первый шаг. Мотивация проведения оценки.

Второй шаг. Определение целей и задач оценки.

Третий шаг. Планирование оценки.

Четвертый шаг. Сбор данных – начало оценочных работ.

Пятый шаг. Анализ данных.

Шестой шаг. Подготовка отчета.

Седьмой шаг. Использование результатов оценки.

Основные требования к оформлению экспертного заключения состоят в следующем.

Экспертное заключение должно содержать обязательные разде-лы, приведенные ниже:   

– титульный лист с указанием полного наименования анализируемого отчета, наименования оценщика и сведений о выданной ему лицензии на осуществление оценочной деятельности, фамилии оценщика-эксперта и периода проведения экспертизы; 

– информацию о заказчике экспертизы; 

– определение цели экспертизы; 

– перечень информации, на которой основывалась экспертиза; 

– исследовательскую часть, включающую анализ соответствия выполненных оценщиком процедур оценки требованиям действую-щего законодательства и других нормативных актов в области оце-ночной деятельности и аргументированные суждения оценщика-экс-перта, которые привели к итоговому заключению; 

– выводы оценщика-эксперта по результатам проведенной экс-пертизы; 

– последний лист (перед приложениями) подписывается оцен-щиком-экспертом. В случае, если при проведении экспертизы оцен-щик-эксперт привлекал к проведению экспертизы иных экспертов или других специалистов, все эти специалисты подписывают послед-ний лист экспертного заключения с указанием конкретно выполнен-ных разделов; 

– в случае необходимости оценщик-эксперт вправе в приложе-ниях к экспертному заключению привести все необходимые расчеты и обоснования, подтверждающие результаты экспертизы.

 

3.3. Элементарные приемы и комплексные методы получения количественных параметров экспертных оценок

При анализе данных, собранных для проведения экспертизы и получения ее количественных оценок, эксперт-оценщик может применять различные методы, заимствованные из эконометрики, математической статистики и пр. В этом смысле арсенал средств зависит от профессионализма самого оценщика, а также от степени соответствия методов оценки объекту оценки³.

Из совокупности наиболее часто используемых методов обработки информации, находящихся в распоряжении современного эксперта, можно выделить элементарные приемы и комплексные методы, которые применяются для наиболее сложных видов оценок, таких как оценка эффективности проекта или оценка воздействия.

Элементарные приемы

К наиболее распространенным элементарным приемам, исполь-зуемым для обработки информации при экспертной оценке, можно отнести следующие.

1. Статистический анализ качественных и количественных показателей.

Средние величины могут быть среднеарифметические, медианные и модальные.

Среднеарифметическая величина определяется суммированием полученных индивидуальных показателей с последующим делением на количество респондентов или объектов, к которым эти индивидуальные показатели относятся. Данный показатель очень чувствителен к увеличению или уменьшению доли высоких или низких значений.

Чтобы получить медианную величину, следует проранжировать показатели в порядке убывания или возрастания и за среднюю вели-чину принять показатель серединной позиции в данном ранжире, т. е. выше и ниже которого находится одинаковое число респондентов или объектов.

Медианные показатели отличаются от среднеарифметических тем, что они принадлежат действительному объекту или респонденту, в отличие от среднеарифметических, которые в действительности могут никому не принадлежать. (Известная шутка про «среднюю температуру по больнице» свидетельствует о том, что «средняя темпера-тура» может быть нормальной, а в действительности нет ни одного пациента с такой температурой.) Модальная величина – это показатель, который наиболее часто встречается в данной совокупности.

Относительные величины – это уровни и индексы, которые призваны показать относительные изменения в исследуемом явлении или процессе. Показатели уровней представляются в процентах. Индексы – это, как правило, безразмерные величины, поскольку они получаются при сопоставлении уровней.

При расчете относительных показателей важно правильно определиться с «точкой отсчета», т. е. с тем, какой параметр будет играть роль основания, приравниваться к 100 %.

Если знаменатель дроби не меняется, то такие относительные величины будут называться базовыми индексами, а если соотношение строится по логике: от последующего к предыдущему, то – цепными.

Расчеты средних величин применяются для выявления тенден-ций с помощью трендового упорядочивания показателей, которое заключается в экстраполяции выровненных значений динамического временного ряда показателя. Такой прием используется для показателей либо монотонно возрастающих, либо монотонно убывающих; для расчета трендовых функций показателей используются математические зависимости.

К статистическому анализу качественных и количественных показателей относятся статистические распределения и их ключевые параметры, выборочные наблюдения.

Приведем примеры интересных выводов, полученных на осно-ве методов статистических распределений⁴.

Так, анализируя общественные процессы, В. Парето рассмотрел социальную среду как пирамиду, на вершине которой находятся люди, составляющие элиту. В 1906 г. Парето установил, что пример-но 80 % земли в Италии принадлежит лишь 20 % ее жителей. Он при-шел к заключению, что параметры полученного им распределения приблизительно одинаковы и принципиально не различаются в разных странах и в разное время. Парето также установил, что точно такая же закономерность наблюдается и в распределении доходов между людьми. Распределению по Парето присуще свойство устойчивости, т. е. сумма двух случайных переменных, которые имеют распределение Парето, также будет распределена по Парето. Замеченное распределение, называемое «законом Парето» или «принципом 80/20», применимо в очень многих областях. Например, при информационном поиске достаточно определить 20 % важнейших ключевых слов, чтобы найти 80 % необходимых документов, а затем расширить поиск или воспользоваться опцией «найти похожие» для полного решения задачи.

Закономерность С. Бредфорда, известного специалиста по обработке документов, одного из авторов универсальной десятичной классификации (УДК) состоит в следующем: если научные журналы расположить в порядке убывания числа помещенных в них статей по конкретному предмету, то полученный список можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету было одинаковым. Эти три зоны представляют: 1) профильные журналы, непосредственно посвященные рассмотренной тематике; 2) журналы, частично посвященные заданной области; 3) журналы, тематика которых довольно далека от рассмотренного предмета.

Вначале Бредфорд рассматривал найденную закономерность только для системы периодических изданий по науке и технике. Однако в дальнейшем оказалось, что эта же закономерность справедлива и для периодических изданий из многих других предметных областей, а также для наборов веб-сайтов, относящихся к некоторой выбранной тематике.

2. Некоторые способы оценки влияния.

Как правило, способы оценки влияния позволяют решать три основные задачи на основе применения корреляционно-регрессион-ного анализа: 1) определение формы связи между результативным и факторным признаком (регрессия); 2) измерение тесноты связи между ними (корреляция); 3) анализ влияния факторных признаков (детерминация, эластичность).

Для решения каждой из трех указанных задач анализируемые параметры делят на эндогенные (зависимые) переменные, которые являются результативными в анализе, и экзогенные (независимые) переменные величины, которые полагаются как факторные признаки.

Так, степень тесноты связи оценивается коэффициентами, из-меняющимися в пределах от нуля до единицы. Малое значение коэф-фициента свидетельствует о слабой связи, а значение, близкое к единице, характеризует очень сильную связь и часто позволяет предположить наличие функциональной причинно-следственной связи (табл. 3.1.)

Таблица 3.1

Таблица качественной оценки степени тесноты связи на основе коэффициента корреляции

Коэффициент корреляции	Теснота связи
 0,91+1,00	Очень сильная
 0,81+0,90	Весьма сильная
 0,65+0,80	Сильная
 0,45+0,64	Умеренная
 0,25+0,44	Слабая
До  0,25	Очень слабая

Как правило, первым этапом анализа должна быть проверка данных на соответствие закону нормального распределения. Для на-чала данные обрабатываются в соответствии с гипотезой о нормаль-ном (гауссовском) законе распределения данных. Пороговое значение коэффициента корреляции 0,05.

Коэффициент корреляции находится на основе стандартных систем типа STADIA (считаются коэффициент ранговой корреляции Спирмена; коэффициент корреляции Пирсона).

3. Анализ «затраты–выгоды» (от англ. cost-benefit analysis).

С помощью данного анализа измеряются совокупные затраты и выгоды каждой альтернативы оцениваемого проекта при использо-вании одной и той же единицы измерения, как правило, это деньги. Данный анализ позволяет выявить тот вариант ПиП, который имеет наибольший коэффициент отношения выгод к затратам. Анализ «за-траты–выгоды» возможен только в том случае, если все составля-ющие «выгод» и «затрат» могут быть представлены в денежном выражении. Если же речь идет об этических, эстетических, политических, психологических составляющих, то его применение невозможно.

Применение анализа «затраты–выгоды» берет начало из инже-нерной практики, когда требовалось оценить целесообразность воз-ведения инженерных сооружений. (Конкретно речь шла о возведении дамбы для военных целей инженерными подразделениями армии США. Подсчитывали денежные выгоды от увеличения урожайности, умень-шения вреда от наводнений и прочего и сравнивали получившуюся сумму с ценой дамбы и посевных площадей и с затратами на воз-мещение расходов на жилье.) Анализ «затраты–выгоды» применяется также при разработке транспортных ПиП.

Анализ «затраты–выгоды» успешно применяется в оценке стои-мости бизнеса, полезен для всех видов оценки его стадий – предварительной, промежуточной, завершающей.

Разновидностью оценки «затраты–выгоды» является оценка бюджетной эффективности в производстве общественных благ.

Комплексные методы

Данные методы представляют собой совокупность различных приемов, которые в зависимости от целей оценки, наличия информации и степени определенности связей между показателями составляют комплексные методики. На выбор комплексной методики оценки влияет сложность объекта оценки или процесса управления. Выделим 4 класса сложности объектов управления.

1. Стандартные объекты управления, в которых связи факто-ров и результатов строго детерминированы и могут быть выражены функциональными уравнениями, простым расчетом.

2. Структурированные объекты управления, где связи носят вероятностный (стохастический) корреляционный характер, но отличаются высокой степенью тесноты. При изменении факторов результат может устанавливаться как с некоторым интервалом «от» и «до», так и однозначно.

Для структурированных процессов применяются эконометри-ческие модели, экономико-математические модели.

3. Слабо структурированные объекты управления, отличаю-щиеся невысоким уровнем тесноты связи между фактором и резуль-татом. Результативный показатель при этом изменяется в очень боль-шом интервале значений «от» и «до».

Для слабо структурированных проблем используются эксперт-ные заключения или мнения, метод сценария, возможно использо-вание и эконометрических моделей.

4. Неструктурированные объекты управления, в которых изме-нение результативного показателя, функции трудно предсказуемы.

Для таких объектов сложно составить последовательность экс-пертизы и расчетов. Для неструктурированных проблем применяются в основном формально-логические приемы, интуитивные и эвристи-ческие методы либо несколько вариантов известных комплексов ме-тодик.

Степень структурированности процессов управления уменьшается при переходе на более высокий уровень управления и увеличения интервала упреждения. Следует отметить, что не существует универсальных методов и методик оценки. Для каждого уровня экспертизы характерны свои методы. Это обусловлено различной размерностью задачи и разным количеством вариантов, возникающим при выборе методик. Правильный выбор методики предопределяет качество полученных оценок и результатов управления.

Как правило, расчеты на основе экстраполяции, других математико-статистических подходов – главным образом поискового характера – производятся в начале разработки экспертизы, когда качественный анализ дополняется расчетами. В последующих и заключительных периодах экспертной оценки используются более сложные, в том числе нормативно-целевые модели: эконометрические, балансовые, оптимизационные.

Так, для отражения взаимосвязи между показателями исполь-зуют факторный подход, который предполагает комплексную характеристику объекта или процесса, определение круга воздействующих на исследуемый объект факторов и формы их взаимосвязи.

Сущность факторного исследования состоит в том, что перспек-тивные оценки получаются на основе выделения наиболее устойчивых тенденций в факторах, между которыми установлена взаимосвязь.

На практике факторный подход применяется в комплексе с бо-лее простым приемом оценки – расчетами трендов, которые отра-жают изменение параметров во времени.

Факторный подход имеет две разновидности: генетическую (ресурсную); нормативную (целевую).

Генетический вид факторного подхода отражает инерционный характер развития процесса, основывается на выявлении устойчивых тенденций и сводится к перенесению зависимостей, характерных для прошлого, в будущее.

Нормативный вид связан с регулируемостью процесса, исходит из целей развития, которых желательно достичь в прогнозируемом периоде, и определения параметров, которых необходимо достичь, чтобы реализовать поставленные цели.

Генетический и нормативный виды факторного анализа явля-ются альтернативными способами выявления параметров, характеризующих исследуемый или оцениваемый объект, поскольку при генетическом подходе взаимосвязь процессов, формирующих темпы и пропорции, разворачивается от настоящего к будущему, а при нормативном – от будущего к настоящему. Важна проблема согласованности расчетов при генетическом и нормативном исследовании оцениваемого объекта.

В расхождении расчетов обнаруживаются проблемы развития объекта и обосновываются возможности их разрешения.

В процессе проведения расчетов на основе использования гене-тического и нормативного подходов, как правило, разрабатываются сценарные варианты развития:

– пессимистичный, составленный на основе экстраполяции тен-денций прошлого (генетический подход);

– оптимистический, получаемый на основе нормативного под-хода, формирующий цели развития в прогнозном периоде;

– рабочая гипотеза как совокупность вероятных альтернативных прогнозов, полученных на основе сочетания генетического и норма-тивного подходов.

Для отражения связи между представлениями объекта оценки и методами оценки воспользуемся «булевой матрицей». «Булева мат-рица» – это система, которая в зависимости от обстоятельств может быть интерпретирована либо как система «событий», либо как систе-ма «высказываний». Под «событием» будем понимать объект оценки, а  под «высказыванием» – метод. Табл. 3.2 показывает наличие или отсутствие общего между «событиями» и «высказываниями». Если в пересечении строки и столбца проставлена единица, то наличие та-кой связи подтверждается, если ноль, – связь отсутствует.

Таблица 3.2

«Булева матрица»

№ п/п	1	2	3	4	5	6
1	1	0	0	0	1	0
2	1	0	0	0	1	0
3	1	1	0	0	1	1
4	1	1	1	0	1	1
5	1	1	1	0	1	1
6	1	1	1	1	1	1

Приведенная таблица позволяет решить проблему оптимизации выбора метода.

Строки пронумерованы от 1 до 6 и соответствуют типовым пред-ставлениям объекта оценки:

1 – неосознанному представлению;

2 – предметному представлению (описанию) объекта оценки естественным языком;

3 – функционально-декомпозиционному представлению;

4 – представлению в виде контуров обслуживания;

5 – агрегированно-декомпозиционному представлению;

6 – представлению в виде модели «параметр – поле допуска».

Столбцы матрицы пронумерованы в соответствии с номером вида метода оценки:

1 – интуитивно-логические заключения;

2 – функционально-логические заключения;

3 – методы структурной оценки;

4 – заключение по аналогии;

5 – методы параметрической оценки;

6 – комплексные системы оценки.

Предполагается, что эксперт выбирает вид метода оценки, затем в пределах этой группы определяет наиболее подходящую методику оценки или разрабатывает свой метод из этой группы или модифи-цирует уже известный.

Вопросы для самоконтроля

1. Назовите 6 альтернативных подходов к оценкам проектов и программ, выделенных на основе характера проблем.

2. Какие еще критерии, кроме характера проблем, могут исполь-зоваться для выделения подходов к оценке?

3. Что является основным критерием качества оценки в управлении?

4. Что представляет собой дизайн оценок, выделяемый на ос-нове характера проблем?

5. Назовите виды оценок, выделяемые по признаку целевого назначения оценки.

6. Выделите виды оценок, определяемые по признаку стадии реализации оцениваемой программы.

7. Назовите 7 шагов алгоритма проведения оценки.

8. Сформулируйте основные требования к оформлению экс-пертного заключения.

9. Назовите методы обработки информации для получения экс-пертных оценок как новых знаний.

10. Охарактеризуйте элементарные приемы обработки информа-ции для получения экспертных оценок.

11. Что представляют собой системные методики обработки информации для получения экспертных оценок?