4.5.3. Обработка результатов экспертизы

Методика обработки результатов экспертизы зависит от их характера и метода экспертизы [51, 52, 54]. При статистической обработке количественных данных, содержащихся в анкетах или отчетах экспертов, определяются статистические характеристики экспертных оценок, их доверительные границы, степень согласованности мнений экспертов.

Среднее значение прогнозируемой величины определяется по формуле:

где В_i– значение прогнозируемой величины, данное i‑мэкспертом; n– число экспертов в группе.

Затем определяются дисперсия прогнозируемой величины:

и приближенное значение доверительного интервала:

Предельные значения прогнозируемой величины определяются по формуле:

где В_в, В_н – соответственно верхняя и нижняя границы значения В.

Коэффициент вариации оценок, данных экспертами, определяется из зависимости:

где δ – среднеквадратическое отклонение значений B_i от В.

Известно, что уменьшение Vхарактеризует повышение точности прогноза.

Часто эксперт не делает численной оценки прогнозируемой величины, а лишь располагает объекты прогноза (факторы, влияющие на качество продукции или процесса, технологические методы, направления научных исследований и др.) в порядке убывания их важности или перспективности. Если имеется nобъектов оценки одного вида, то эксперт в этом случае должен установить ранг pдля каждого объекта от 1 до n. При этом высший ранг соответствует 1, низший – n. Если эксперт считает одинаково важными несколько объектов, то каждый из них получает одинаковый ранг, равный их среднеарифметическому значению.

Иногда эксперт дает две предельные оценки рассматриваемого фактора – max и min, оптимистическую и пессимистическую. Это может быть при прогнозе сроков различных событий, оценке допустимых значений каких‑то параметров продукции или процесса и т. д.

Статистическая обработка экспертных оценок в этом случае начинается с определения математического ожидания оценок i– го эксперта:

где a., b.– оптимистическая и пессимистическая оценки 1‑го эксперта. Затем определяют дисперсию этих оценок:

Математическое ожидание оценок всей группы экспертов:

где N– количество экспертов, участвовавших в опросе.

Дисперсия оценок группы экспертов:

Для обработки оценок экспертов типа присоединения к одной из альтернатив строится гистограмма частот появления различных оценок. По оси абсцисс откладывают число интервалов, равное количеству рассматриваемых альтернатив, по оси ординат – количество экспертов, высказавшихся за данную альтернативу. После этого в случае рассмотрения достаточного числа (более 5) альтернатив проверяется гипотеза о нормальности распределения частот, что позволяет выбрать наиболее перспективную альтернативу, соответствующую вершине кривой распределения. Если кривую распределения построить не удается, в качестве перспективной принимается обычно альтернатива, выбранная большим числом экспертов.

4.5.4. Анализ экспертных оценок

Объектом данного анализа могут быть оценки отдельных экспертов или групп экспертов. Цель анализа – оценка достоверности суждений экспертов. Если подтверждается близость мнений экспертов, их достоверность возрастает. При отсутствии такой близости, взаимосвязи необходимо выяснить ее причины и постараться их устранить. Для этого, возможно, потребуется предоставить экспертам дополнительную информацию, расширить или изменить их состав, провести повторные экспертизы.

Коэффициент корреляции рангов и конкордациииспользуются для выявления связей между мнениями группы экспертов.

При регулярной оценке двумя экспертами продукции из группы в nизделий им приписывается значение со знаком «+», когда ранг изделия у первого эксперта выше, чем у второго, и «‑», когда нет. Если общую сумму всех разностей оценок обозначить через S,то

называется коэффициентом корреляции рангов Кендалла,который равен t=1 при совпадении всех рангов у двух экспертов и t= ‑1 – при их противоположности. Если учитывать только отрицательные оценки, а их сумму обозначить Qто коэффициент корреляции рангов рассчитывается по формуле:

Для определения близости мнений двух экспертов широко применяется оценка, использующая d– разность рангов:

называемая коэффициентом корреляции рангов Спирмена.

Кроме того, используя R, можно определить наличие или отсутствие корреляции. Так, при n≥ 10,

Оценка приближенно следует t‑распределению с (n – 2) числом степеней свободы.

Пусть требуется рассмотреть 10 изделий, которым присвоены порядковые номера, и двум экспертам Aи Bпоручено проранжировать их по убыванию качества (табл. 4.14) [56].

Таблица 4.14. Ранжировки экспертов Изделия 123456789 10

Переписываем таблицу так, чтобы данные ранжировки эксперта Aбыли упорядочены по возрастанию (табл. 4.15)

Таблица 4.15. Инверсии в ранжировках

Подсчитываем последовательно для результатов эксперта Bчисло данных справа, которое меньше 2, 3… 11 соответственно, и строим ряд инверсий: 1, 1, 0, 0, 1, 1, 1, 1, 0, 0. Сумма числа инверсий Q=6 и для n=10 коэффициент корреляции рангов Кендалла:

Сумма квадратов разностей

поэтому коэффициент корреляции рангов Спирмена

Коэффициент корреляции рангов Rравен +1, когда мнения двух экспертов совпадают полностью, а когда они взаимно обратны, коэффициент корреляции будет равен ‑1.

Рассмотрим корреляцию ранжировок, используя t_n распределение и полученный R:

Это значение больше, чем табличное t₈₍₀₀₁₎ = 3,355, следовательно, степень близости ранжировок высока.

Для оценки совпадения мнений mэкспертов используют коэффициент кон‑кордации W.Поскольку сумма рангов, выставленных одним экспертом для nизделий равна

ожидаемое значение суммы рангов изделия.

Суммы рангов достигают максимума при полном совпадении оценок экспертов и для различных изделий соответственно равны m,2m… nm.Рассмотрим максимальную сумму квадратов разностей:

Однако на практике в мнениях экспертов возникают некоторые расхождения, поэтому, используя фактические суммы рангов изделий S,получаем ожидаемое:

которое меньше, чем S_max, а их отношение служит для определения степени совпадения мнений экспертов W:.

Рассмотрим 7 изделий, которые оценивали 5 экспертов (табл. 4.16).

Таблица 4.16. Оценки экспертов

Так как

Подставляя ожидаемое значение в формулу коэффициента конкордации (4.19), получаем:

который показывает, что оценки экспертов не случайны, так как W не равен нулю, но до полного совпадения W = l им далеко.

Метод парных сравнений. Один эксперт может сравнить между собой n контролируемых объектов. При этом в качестве меры непротиворечивости сравнения используется число К, учитывающее количество встретившихся противоречий Т, то есть число встретившихся циклических треугольников:

Если в парных сравнениях выводы о каждом из n изделий совершенно случайны, то среднее m и дисперсия σ² общего числа Т, получаемых циклических или обходных треугольников, имеют вид:

При большом n можно считать, что закон распределения Т близок к нормальному.

Когда объект A предпочтительнее B, можно записать A ← B или B → A. При этом, если из A ← B и B ← C делается вывод, что A ← C, то противоречия нет.

Это можно выразить графически треугольником, у которого  , называемого непротиворечивым треугольником, или треугольником суммы (рис.4.56, а).

Однако если из A ← B и B ← C сделан вывод, что C ← A, то возникает противоречие СВ + ВА = СА , графически представляемое в виде противоречивого, или циклического, треугольника (рис. 4.56, б).

Рис. 4.56. Треугольник суммы (а) и циклический треугольник (б)

При числе объектов, равном n, число пар, составленных из них, будет C_n².

Так, для n= 7 изделий C₇²= 21, а матрица предпочтений представляет таблицу, в которой на пересечении столбца и строки ставится при предпочтении 1, в противном случае 0 (табл.4.17).

Таблица 4.17. Матрица предпочтений

Если эти предпочтения изобразить графически, то получится многоугольник или граф предпочтений (рис.4.57).

Рис. 4.57. Многоугольник предпочтений с циклическими треугольниками: Δ1–3–5, Δ1–3–6, Δ3–4–5

Противоречивость вывода можно оценить, подсчитывая число циклических треугольников, входящих в структуру многоугольника предпочтений. Поскольку n = 7, Т = 3, то мера непротиворечивости К равна:

Если бы вывод был совершенно случайным, то среднее m и дисперсия σ² числа циклических треугольников Т были бы:

Рассмотрим отношение отклонений:

Его значение выходит даже за одностороннюю 5% точку (1,64) нормального распределения, следовательно, число циклических треугольников, полученных в результате оценки, значительно меньше, чем при совершенно случайной оценке.