Вопрос 28.

ОСНОВНЫЕ ЭТАПЫ КОЛЛЕКТИВНОЙ ЭКСПЕРТИЗЫ. ОЦЕНКА СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ.

Основными этапами коллективной экспертизы являются:

1. поиск экспертов;

2. отбор экспертов;

3. формирование экспертной группы;

4. опрос экспертов;

5. обработка результатов.

При отборе экспертов и формировании экспертной группы в практике прогнозирования и планирования стремятся свести к минимуму количество экспертов в группе, но в тоже время уменьшение их числа ниже определенного уровня равносильно уменьшению точности выборки.

Минимальное число экспертов может быть определено по формуле:

n_min = 0,5 ×(3 / ε + 5)

ε = b – b’ / b_max

ε – относительное изменение среднего значения экспертов при добавлении еще одного эксперта;

b – среднее значение ответов экспертов;

b’ – среднее значение ответов экспертов при добавлении еще одного эксперта;

b_max – максимальное значение в ответах экспертов.

Для того чтобы сформировать группу экспертов и определиться с конкретными специалистами, которые в нее войдут необходимо рассчитать коэффициенты компетентности экспертов и показатель репрезентативности группы.

Коэффициент компетентности экспертов

K_Ki = (K_ai + K_oi)/ (K_{a max} + K_{o max})

K_ai – коэффициент аргументации i-го эксперта

K_оi – коэффициент осведомленностиi-го эксперта

K_{a max}, K_{o max} – максимально возможные оценки

Показатель репрезентативности группы:

Группа считается репрезентативной, если 0,67 ≤ M ≤ 1.

После проведения экспертизы проводится обработка полученных результатов, которая предусматривает определение обобщенного метода всей группы экспертов, а также оценивается согласованность мнений экспертов.

При оценке согласованности мнений экспертов в случае, если в результате экспертизы получены прогнозные значения отдельных показателей, могут использоваться показатели вариации (проводится статистическая оценка согласованности мнений экспертов):

Дисперсия

Среднеквадратическое отклонение

Коэффициент вариации

В случае если эксперты оценивают степень важности отдельных факторов влияющих на объект прогнозирования путем ранжирования, необходимо предварительно проводить стандартизацию рангов. Для стандартизированных рангов справедливо условие:

Стандартизированные ранги рассчитываются по формуле:

n₁, n₂, n_S –места, которые поделили факторы с одинаковым исходным рангом;

S – количество мест, которое они поделили.

При оценке согласованности мнений экспертов в случае ранжирования факторов или показателей рассчитываются следующие показатели согласованности:

Ранговый коэффициент корреляции Спирмэна:

d_j – ранговая разница по j-му фактору

0≤ρ≤1, чем ближе к единице, тем выше согласованность мнений экспертов

Коэффициент конкордации

m– количество экспертов

n – количество оцениваемых факторов

x_ij- стандартизированный ранг i-го эксперта для j-го фактора

h – число групп равных рангов в оценках i-го эксперта;

t_l – число равных рангов в l-й группе.

W изменяется от 0 до 1, если он стремится к нулю, то согласованность мнений экспертов отсутствует, если W = 1 то мнение экспертов полностью согласовано.

Для того, чтобы определить значимость коэффициента конкордации при большом числе оцениваемых факторов необходимо также рассчитать χ² критерий Пирсона.

χ² сравнивается с табличным значением для заданной степени доверительной вероятности и соответствующего количества степеней свободы.

Если χ²_расч больше табличного, то с заданной вероятностью можно утверждать, что критерий Дарвина-Уотсона значим, то есть согласованность мнений экспертов является не случайным.

Кроме проведения расчетов различных коэффициентов при оценке согласованности мнений экспертов также могут строиться различные гистограммы, которые наглядно показывают степень разброса мнений экспертов.