6. Проверка согласованности и достоверности экспертных оценок

Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от специалистов, должна включать в себя оценку степени согласован­ности мнений экспертов и выявление причин неоднородности.

В общем случае статистический анализ материалов ответов, полученных от группы экспертов, предполагает:

• оценку степени согласованности мнений экспертов по каждому признаку в отдельности и по всей совокупности признаков,

• выделение подгрупп экспертов с "близким" мнением в случае существенных расхождений в ответах,

- выявление причин разброса мнений и осуществление мероприя­тий, позволяющих повысить достоверность оценок экспертов.

Рассмотрим некоторые статистические способы оценки согласо­ванности мнений экспертов.

При первом ив них наиболее простом и приближенном, в качест­ве меры согласованности ответов может быть использован коэффи­циент, равный отношению числа ответов, совпадающих с медианой и двумя соседними с ней местами, к общему числу ответов. Этот метод хорошо согласуется с методом Дельфы.

Если при анализе ответов экспертов возникает необходимость выявить согласованность их мнений по нескольким факторам, оказывающим влияние на один конечный результат (качество), то в этих случаях согласованность мнений экспертов можно оценить с помощью коэффициента конкордации (согласия) W, т.е. общего коэффициента ранговой корреляции для группы, состоящей из m экспертов. Пусть имеется ряд объектов (факторов), 1, 2, 3 ........n, в разной степени обладающий одним и тем же качеством x и проранжированных в отношении этого качества m экспертами.

Например, известно, что многие показатели работы предприятий в сфере производства зависят от работы (наличия) абонентского телеграфирования. Группе экспертов, состоящей из 33 человек, было предложено проранжировать 16 факторов производства, зависящих от работы абонентского телеграфирования. Факторы следующие:

1. Сокращение сроков выполнения работы в сфере управления предприятием.

2. Рост производительности труда управленческого персонала.

3. Повышение оперативности решения вопросов,

4. Повышение маневренности и гибкости управления.

5. Рост производительности труда в сфере производства.

6. Увеличение объема продукции.

7. Улучшение качества продукции.

8. Снижение себестоимости продукции.

9. Улучшение использования основных фондов.

10. Уменьшение запасов материальных ценностей.

11. Сокращение транспортных затрат.

12. Улучшение использования материалов, топлива, электроэнергии.

13. Сокращение производственного цикла.

14. Снижение потерь рабочего времени!

15. Повышение ритмичности производства.

16. Уменьшение денежных санкций.

Результаты ранжирования удобно представить в виде матрицы рангов (табл. 2)

Для расчета значения коэффициента конкордации W сначала надо найти сумму рангов по каждому из факторов, полученную от всех экспертов , а затем – разность между этой суммой и средней суммой рангов Т для каждого из факторов по формуле:

, где

- далее для каждого из факторов рассчитывается и затемопределяется сумма квадратов отклонений от Т по формуле

Очевидно, что величина S имеет максимальное значение в случае? когда все эксперты дают одинаковые оценки по каждому из факторов. Исходя из этого, коэффициент конкордации W рассматривается как отношение фактически полученной величины S к ее максимальному значению для данной группы экспертов m и числа факторов n т.е.:

Ясно, что величина коэффициента W может меняться от 0 до 1, причем его равенство единице означает полное совпадение мнений экспертов, а равенство 0 означает, что связи между оценками, полученными от разных экспертов, входящих в группу, не существует. Коэффициент конкордации в этом случае обычно рассчитывают по форму­ле предложенной Кендаллом:

Если какой-либо эксперт не может установить разницу между рассматриваемыми факторами и присваивает им один и тот же ранг, расчет коэффициента конкордации производится по формуле:

^{, где}

^{а - число одинаковых рангов в j -м ряду.}

В нашем примере значение коэффициента конкордации W = 0,766. Для оценки значимости коэффициента конкордации, т.е. установ­ления того факта, что совпадение мнений экспертов не случайно с определенной вероятностью, при большом числе n используется критерий Пирсона, , который подчиняетсяраспределению с числом степеней свободы.

Если вычисленное значение будет больше табличного для соответствующего числа степеней свободы, то считается, что существует определенная согласованность мнений экспертов относительно оценок факторов, оцениваемая уровнем доверительной вероят­ностиp. Как правило, доверительная вероятность в таких случаях принимается равной 0,95 – 0,99. В случае совпадения некоторых рангов распределение бу­дет:

В нашем случае расчетное значение, критерия Пирсона = 379,53больше табличного, равного 25,0 для p = 0,95 числа степеней свобода = 15. Это означает, что с вероятность p = 0,95 совпадение мнений экспертов неслучайно.

На основе вычисленных оценок строятся гистограмма и полигон распределения влияния модулируемого показателя (влияния АТ) на исследуемые факторы (рис. 6)

Гистограмма наглядно иллюстрирует изменение степени влияния, в нашем случае – абонентского телеграфирования, на рассматривае­мые факторы и помогает отобрать для дальнейшего исследования те из них, которые в наибольшей степени зависит от AT.

С помощью полигона можно проследить, насколько далека полу­ченная ранжировка от той, которая была бы при полном совпадении мнений экспертов.

Заканчивая рассмотрение математико-статистических методов экспертных оценок, следует сделать следующие выводы.

Под экспертными методами понимают комплекс математико-статистических и логических процедур, направленных на получение от специалистов субъективной информации, ее анализ и обобщение для получения объективной информации.

Экспертные оценки дают возможность путем размышлений при ми­нимуме применяемого математического аппарата получать нейтральные результаты, которые помогают познавать внутреннюю сущность исследуемых процессов. Как пишет один из крупнейших французских специалистов в области экономико-математических методов Пьер Массе, "математический аппарат гарантирует, если отвлечься от ошибок в расчете, только то, что полученные выводы являются прямым следствием принятых предположений. Однако математический аппарат ни на йоту не добавляет истинности самим предположениям. И так как эти предположения являются схематизацией реальной действительности, всегда необходимой для экономических расчетов, то именно они требуют от нас самых значительных и плодотворных усилий".