3.2. Эксперты, экспертиза и диагноз. Измерения и согласованность, шкалирование и иерархия.

При проведении экспертизы рекомендуется следующая последовательность мероприятий по организации работ:

• назначение руководителя работ – лица, принимающего решение (ЛПР);

• создание группы анализа (4-5 человек);

• подбор и назначение группы экспертов;

• выбор шкалы и методов измерений;

• организация и проведение опроса;

• обработка результатов опроса, установление диагноза;

• выработка рекомендаций и принятие решений.

Основная задача подбора группы экспертов – определение числа и состава экспертов для обеспечения приемлемой достоверности при минимальных затратах на экспертизу или максимальной достоверности при ограниченных затратах. Подбор количественного и качественного состава экспертов производится на основе анализа широты рассматриваемой проблемы, требуемой достоверности оценок, характеристик экспертов и затрат ресурсов.

Требуемое число экспертов можно определить из выражения, характеризующего необходимый доверительный интервал экспертных оценок:

,

где - коэффициент Стьюдента, который можно найти в справочных таблицах в зависимости от числа экспертов и доверительной вероятности ; - дисперсия экспертных оценок.

Так, если принять, что доверительный интервал экспертной оценки должен составлять не более 15% среднего ее значения с вероятностью р=0,8, то рекомендуемое число экспертов составит примерно 6…человек.

При подборе экспертной группы целесообразно руководствоваться определенными требованиями, к числу которых можно отнести:

• наличие у кандидатов в эксперты стажа научно-исследовательской работы по рассматриваемой теме (приблизительно 10…15 лет);

• предварительное участие в работах по проекту;

• позитивное отношение к целям экспертизы и желание принять конструктивное участие в ней;

• независимость суждений экспертов от каких-либо ведомственных интересов и др.

Существует ряд методик определения коэффициента компетентности по априорным данным. Наиболее простой является методика оценивания относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы, причем каждый может включать или не включать и свою кандидатуру. Если в первоначальный список попадают новые кандидатуры, им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты.

По результатам проведенного опроса составляется матрица с элементами x_ij , равными соответственно:

По элементам матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле

где - коэффициент компетентности i-го эксперта, m – количество экспертов (размерность матрицы ). Коэффициенты компетентности нормированы так, что их сумма равна единице:

.

Таким образом, коэффициент компетентности, вычисленный в соответствии с приведенной выше методикой, определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Как правило, часть характеристик эксперта оказывается позитивной, а часть – негативной. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их свойств. Для этого необходима обобщенная характеристика эксперта, учитывающая его важнейшие свойства и допускающая непосредственность ее измерения. В качестве такой характеристики может быть принят показатель достоверности суждений эксперта, который отражает его как «измерительный прибор». Этот показатель требует информации о прошлом опыте участия эксперта в решении проблем.

Достоверность оценки эксперта количественно оценивается по формуле:

, i=1…m,

где N_i – число случаев, когда i-й эксперт дал решение проблемы, которое подтвердилось практикой, N – общее число случаев участия i-го эксперта в решении проблем.

Вклад каждого эксперта в достоверность оценок всей группы определяется по формуле

i=1…m,

где m – число экспертов в группе.

Для формализации информации, получаемой при экспертном оценивании, используются различные шкалы измерений. К основным шкалам измерений относятся:

• номинальная шкала (шкала наименований);

• порядковая шкала;

• интервальная шкала и ее разновидности – шкала отношений, шкала разностей и абсолютная шкала.

Шкалы наименований и порядка относятся к качественным шкалам. В шкале наименований описывается различие или эквивалентность объектов, а в шкале порядка – качественное превосходство, отличие объектов. В этих шкалах отсутствуют понятия масштаба и начала отсчета.

Шкала наименований используется для описания принадлежности объектов к определенным классам.

Порядковая шкала применяется для измерения упорядоченных объектов по одному или совокупности признаков. Числа в шкале определяют порядок следования объектов и не дают возможности выяснить, на сколько или во сколько раз один объект предпочтительнее другого.

Шкалы интервалов, отношений, разностей и абсолютная шкала являются количественными шкалами. Количественные шкалы позволяют измерить, на сколько (шкалы интервалов и разностей) или во сколько раз (шкалы отношений и абсолютная шкала) один объект отличается от другого по выбранному показателю.

Шкала интервалов применяется для отображения величины различия между свойствами объектов. Интервальная шкала может иметь произвольные точки отсчета и масштаб. В этой шкале отношение разности чисел в двух числовых системах определяется масштабом измерения.

Шкала отношений отражает отношения свойств объектов, т.е., во сколько раз свойство одного объекта превосходит это же свойство другого объекта. Данная шкала является частным случаем шкалы интервалов при выборе нулевой точки отсчета.

Шкала разностей используется для измерения свойств объектов при необходимости выяснения, на сколько один объект превосходит другой по одному или нескольким признакам. Эта шкала является частным случаем шкалы интервалов при выборе единичного масштаба.

Абсолютная шкала является частным случаем шкалы интервалов с нулевой точкой отсчета и единичным масштабом. Эта шкала применяется для измерения количества объектов, событий и т.п. с помощью ряда натуральных чисел.

Методы, используемые в настоящее время для получения экспертных оценок, достаточно многочисленны и разнообразны. Практически свойства любых объектов можно измерить, используя четыре основных метода:

• ранжирование;

• парное сравнение;

• непосредственное численное оценивание;

• последовательное сравнение.

Ранжирование представляет собой процедуру упорядочения альтернатив (объектов), выполняемую экспертом, в результате которой альтернативы (объекты) располагаются в порядке убывания (возрастания) степени проявления какого-либо присущего им свойства.

Метод парных сравнений является одним из наиболее распространенных методов получения экспертной информации. При применении этого метода эксперт для каждой пары объектов указывает, какой из объектов более предпочтителен, или указывает, может ли данная пара объектов принадлежать одному классу. Если предпочтения экспертов обладают свойством транзитивности и сравниваются все пары объектов, то получается ранжирование. Если относительно части пар объектов эксперт затрудняется указать, какой из двух объектов предпочтительней, считая их несравнимыми, то получится лишь частичное упорядочение объектов. Если при разделении экспертом объектов на классы выполняется условие транзитивности, получится классификация объектов (отношение эквивалентности).

Метод непосредственного численного оценивания представляет собой процедуру приписывания объектам числовых значений в шкале интервалов, характеризующих их предпочтительность. Эксперту предлагается поставить в соответствие каждому объекту точку на непрерывной числовой оси, например, на отрезке [0, 1]. Эквивалентным объектам приписывается одно и то же число. Графически это можно представить в виде рисунка 10.

Зная численную оценку каждого объекта, можно получить сравнительную оценку предпочтительности для каждой пары объектов, т.е. можно определить, на сколько условных единиц или во сколько раз один объект превосходит другой.

Метод последовательного сравнения представляет собой комплексную процедуру, включающую как ранжирование, так и непосредственное оценивание. В нем предполагается последовательная корректировка оценок, указанных экспертами.

Рис. 10.

Основные предположения, на которых основан метод, состоят в следующем:

• каждому объекту , ставится в соответствие действительное неотрицательное число , принадлежащее отрезку [0, 1];

• если , то ; если предпочтение в паре обратное , то ; если объекты эквивалентны , то ;

• если и - оценки объектов , то соответствует оценке совместной предпочтительности объектов (предположение об аддитивности оценок объектов).

При последовательном сравнении объектов эксперт выполняет следующие действия:

• осуществляет ранжирование объектов по предпочтительности, например, _, и т.д.;

• производит непосредственное предварительное оценивание объектов на отрезке [0, 1], полагая, что числовая оценка первого в ранжировке объекта равна единице, т.е. , и располагая остальные оценки между 0 и 1 в соответствии с предпочтительностью объектов;

• решает, будет ли первый объект превосходить по предпочтительности все остальные объекты, вместе взятые. Если да, то эксперт корректирует его оценку так, чтобы , после чего первый объект исключается из рассмотрения. Если же по мнению эксперта первый объект не превосходит по предпочтительности оставшуюся совокупность, то для уточнения оценок он сравнивается с остальными объектами, оценки которых уточняются, пока не будет достигнуто указанное неравенство;

• решает, будет ли второй объект предпочтительнее, чем все последующие объекты, вместе взятые, и изменяет так же, как это описано выше;

• продолжает операцию сравнения предпочтительности последующих объектов с остальными по ранжировке объектами и изменяет числовые оценки этих объектов в зависимости от своего решения о предпочтении. Процесс продолжается до тех пор, пока не будут откорректированы оценки всех объектов.

Среди рассмотренных методов измерений ранжирование наименее трудоемко, метод последовательного сравнения наиболее трудоемкий. Метод парного сравнения без дополнительной обработки и ряда ограничений может не дать полного упорядочения объектов.

После образования группы экспертов, выбора шкалы измерений и метода измерений необходима организация рационального их опроса. Опрос экспертов предполагает заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Можно выделить три группы методов проведения опроса:

1. Индивидуальные методы – получение оценок от каждого эксперта отдельно с дальнейшей их обработкой для получения группового мнения. К индивидуальным методам опроса относятся анкетирование и интервьюирование.

2. Групповые методы – получение групповых оценок путем обсуждения проблемы (дискуссия, совещание, комиссия). Для данной совокупности методов упрощается обработка результатов экспертных оценок.

3. Дельфийский метод – многоэтапный опрос отдельных экспертов, работающих инкогнито по отношению друг к другу, для получения единого мнения. Для дельфийского метода этап обработки результатов опроса может повторяться многократно, до тех пор, пока не будет получена согласованная оценка всех участников экспертизы. Реализуемая в этом методе итеративная процедура опроса экспертов с сообщением каждому из них результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся от среднего значения оценки, вынуждены критически осмыслить свои суждения, обстоятельно их аргументировать и, возможно, изменить оценки, предлагаемые ими для очередного тура экспертизы. Анонимность ответов экспертов по отношению друг к другу исключает влияние конформизма.

Вопросы для самопроверки по разделу 3

1. К чему приводит возрастание информации в системе?

2. Каковы функции канала воздействия в схеме формирования информации?

3. Дайте определение информации. Как связаны понятия «информация» и «энтропия»?

4. Изобразите общую схему формирования информации и поясните назначение ее элементов.

5. Назовите прагматические характеристики информации по отношению к пользователю.

6. Дайте определение энтропии. Как связаны понятия «информация» и «энтропия»?

7. Каковы функции подсистемы отображения в схеме формирования информации?

8. К чему приводит возрастание энтропии в системе?

9. Каковы функции подсистемы распознавания в схеме формирования информации?

10. Назовите последовательность мероприятий при организации экспертизы.

11. Как определяется степень компетентности экспертов?

12. Назовите методы проведения опроса.

13. Назовите методы измерения при экспертизе.