12. Оценивание объектов при экспертизе

Поскольку экспертиза является весьма сложной и специфической процедурой, рассмотрим только ее отдельные и важные моменты. Начнем со случая количественных оценок. Начнем со случая, когда эксперты использовали бальные оценки, которые являются промежуточными между ранжированием и количественным измерением. В силу такого положения балльных оценок они могут анализироваться и «количественными» методами (как количественные оценки), и «качественными» методами (как при ранжировании). Если балльные оценки обработаны и количественно и качественно, то при совпадении выводов можно заключить, что выводы достоверны, основаны на самом материале, а не на методе обработки данных.

При количественном подходе (что возможно не всегда) балльные оценки , данные объектуэкспертом, могут оцениваться по разному. Если эксперты равноправны, то простейшая групповая оценка объекта

,

где - число экспертов, то есть средний балл.

Если хотят учесть компетентность, объективность, информированность экспертов, то вводят весовые показатели компетентности: для эксперта это, тогда

при .

Часто оцениваемый показатель сложен для непосредственной оценки, например, показатель «качество изделия». Тогда такой показатель разбивают на более простые показатели, каждый из которых выражает некоторую сторону, часть исходного показателя.

Например, «потребительское качество» представляют как совокупность таких признаков, как:

• эстетические;

• социальные - насколько необходимо это изделие;

• функциональные - насколько хорошо изделий соответствует своему предназначению;

• эргономические - насколько удобно в эксплуатации.

В этом случае - оценка, данная объектуэкспертомпо признаку,- оценка весомости признака, данная экспертом. Тогда полагают, что оценка весомости признака

и оценка изделия

,

где - число признаков.

Эта оценка представима в виде

.

Эксперименты и практика экспертизы показывают, что такие средние баллы ведут себя достаточно устойчиво при изменении состава экспертной группы. Но надо иметь в виду, что в основе подобного способа группировки используется предположение, что для экспертов существует некая единая система оценок, а индивидуальные оценки экспертов это случайные величины, имеющие отклонения от этой системы. Это предположение может быть справедливым, если для деятельности экспертов оценивание является привычной деятельностью.

В отличие от количественных оценок, соответствующих, как правило, объективным измерениям объективных показателей, балльные оценки обычно характеризуют субъективные мнения. Самый известный пример балльных оценок – это школьные оценки. Значения балльной шкалы представляют ограниченный ряд равноудаленных друг от друга чисел.

Балльные оценки бывают двух видов. Оценки первого вида производятся по объективному критерию, по общепринятому эталону, в соответствиями с градациями этого эталона. Чем точнее охарактеризованы и оценены отклонения от эталона, тем больше доверия к ним. Как правило, таковы оценки в спортивном судействе или правила присвоения рабочих разрядов. Эти оценки – оценки по балльной шкале.

Балльная оценка второго вида – это оценка, производимая, когда не только отсутствуют общепринятые эталоны, но и сомнительно даже наличие некоего единственного объективного критерия, субъективными отражениями которого являются оценки. В таком случае говорят о порядковой (или ранговой) шкале. Если балльные оценки рассматривать как ранговые, то нахождение групповой оценки требует новых понятий (расстояние, медиана), так и специальных методов расчета, которые довольно сложны.

Оценки, произведенные по ранговой шкале, имеет смысл сравнивать только по отношению «больше - меньше». Так сравнивают вкус разных блюд.

Следующий вид оценки – ранжирование. Под ранжированием понимают упорядочивание объектов в соответствии с убыванием их предпочтительности (допускается указание на равноценность некоторых объектов). Примером ранжирования является определение призеров какого-либо конкурса. Отметим, что ранжирование представимо как оценка в ранговой шкале: рангом объекта (то есть значением оценки) можно считать номер места, который объект занимает в ранжировании при обратной нумерации мест. Наконец, назовем такой вид оценок, как парное сравнение. Этот способ оценки состоит в указании предпочтительного объекта в каждой паре объектов (иногда допускается объявление обоих объектов равноценными или несравнимыми). Например, шоколад предпочтительнее мороженного, шоколад предпочтительнее пирожного, мороженое предпочтительнее пирожного.

Метод парных сравнений применяется потому, что обеспечивает более легкое качественное сравнение двух объектов, чем выражение предпочтения в бальной или ранговой шкале. Иногда при парных сравнениях эксперту предлагается баллами оценить интенсивность своего предпочтения для каждой пары объектов. Для упорядочивания объектов на основании качественного критерия иногда удобен метод средней точки: выбирается лучший и худший объекты, а затем объект, который может быть расположен посредине между ними. Потом объекты, которые могут быть расположены между худшим и ранее найденным средним, а также посредине между лучшим и средним, и т.д.

Для получения и обработки количественными методами качественной экспертной информации могут использоваться вербально-числовые шкалы, в состав которых входят содержательно описываемые наименования ее градаций и соответствующие им численные значения или диапазоны численных значений.

Приведенное описание методов получения и обработки экспертных оценок не является исчерпывающим. Выше перечислены только некоторые основные типы оценок, но даже такое неполное перечисление дает достаточное представление о многообразии возможностей оценивания при проведении экспертизы.

Наибольшее распространение для обработки качественных экспертных оценок получил метод парных сравнений, который за­ключается в выявлении предпочтений при формировании множе­ства существенных факторов на основе методологии много­мерного шкалирования. На основе этой методологии на качественном уровне выявляется предпочтительность факторов с точки зрения за­данного критерия с последующей оценкой по зара­нее согласованной шкале. Проведение парных сравнений значений раз­личных факторов с определенной точки зрения позволяет более точно оценить их соотношения и влияние в заданном процессе. Формальная обработка выявляет количественные соотношения фак­торов по их влиянию с точки зрения заданного множества крите­риев и позволяет выделить наиболее существенные.

Для определения списка существенных факторов предпочти­тельно использовать метод парных сравнений, который предназна­чен для формирования и обработки экспертных оценок и основан на обработке при парных сравнениях факторов и критериев предпоч­тений экспертов.

Факторы ранжируются на основе парных соотношений и их последующих изменений, высказанных экспертом. При задании по­рядка следования объектов и последующем установлении отноше­ний "равенства" также выполняется ранжирование, как и в случае задания численных значений признаков. После достижения ранжи­рования факторов по признаку, удовлетворяющего эксперта, оценивается или задается их соотношение. Изменяя это соотноше­ние, эксперт создает шкалу на удовлетворяющем его уровне и, од­новременно, добивается требуемых численных оценок. При этом фиксируется соотношение оценок, как между выбранными факто­рами, так и между остальными. Результаты представляются в таб­личном и графическом виде относительно ведущего фактора, т.е. фактора с максимальной оценкой. Соотношение оценок назначается для объектов, получивших максимальную и минимальную оценку соответственно, т.е. во сколько раз значение оценки одного фактора превосходит оценку другого. Задавая (при необходимости) это со­отношение эксперт может добиться требуемого соотношения оце­нок, а также создать шкалу оценок на удовлетворяющем его уровне.

На основе высказанных экспертом парных соотношений фак­торы ранжируются с учетом вносимых экспертом изменений. Пер­воначально проводится экспертиза по каждому критерию для всех факторов, а затем проводятся аналогичные процедуры для за­данных критериев. Все получаемые оценки приведены к нормированному виду, т. е. принадлежат сегменту [0,1]. Основными преимуществами рассмотренного метода являются:

• использование процедур поиска формально-логических ошибок, возникающих при установлении соотношений для большого числа объектов;

• введение процедур корректировки оценок факторов, как на качест­венном уровне при установлении соотношений, так и в процессе формирования оценок и шкал;

• возможность задания любого масштаба при формировании оце­нок путем назначения для равнозначных объектов оценки, не обя­зательно равной "1", что позволяет исключить эмпирические соотношения.

Процедура формирования списка существенных факторов включает ряд последовательно выполняемых этапов:

• проведение ранжирования заданной совокупности факторов;

• определение соотношения между факторами по набору крите­риев;

• задание оценки качественным различиям между факторами;

• проведение экспертизы проекта по отношению к эталону.

На первом этапе процедура заключается в проведения экспер­тизы по выявлению всех факторов, которые, по мнению эксперта, оказывают влияние на прогнозируемый показатель, а затем по за­данному списку проводится семантический анализ.

Второй этап проводится в определенной мере независимо от первого и его результатом является согласование списка признаков (критериев), по которым будет проводиться экспертиза. При этом предполагается, что большему значению признака соответствует большее предпочтение, а объект, занявший первое место, имеет наибольший приоритет.

Третий этап включает свой ряд процедур, позволяющих вы­полнить ранжирования объектов по каждому признаку, а также са­мих признаков, получить оценки и провести анализ результатов. При подготовке исходных данных задается или корректируется шкала предпочтений, которая согласовывается между экспертами с целью однозначного соответствия формируемых оценок (как, на­пример, представленных в таблице 11.1.)

Таблица 11.1.