4. Проверка согласованности и достоверности экспертных оценок

Групповая оценка может считаться достаточно надежной лишь при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений.

Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного выбора события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики – средние и меры разброса:

• средняя квадратичная ошибка,

• вариационный размах min – maх,

• коэффициент вариации V=ср.квадр.откл./ средняя арифм. и т.п.

Для оценки меры сходства мнений каждой пары экспертов могут быть использованы самые разные методы:

коэффициенты ассоциации, с помощью которых учитывается число совпадающих и несовпадающих ответов,

коэффициенты противоречивости мнений экспертов,

коэффициенты ранговой корреляции Кендалла и Спирмена.

Все эти меры можно использовать либо для сравнения мнений двух экспертов, либо для анализа связи между рядами оценок по двум признакам.

Коэффициент корреляции рангов Спирмена:

где n – число экспертов,

c_k – разность оценок i-го и j-го экспертов по всем T факторам.

В практике экспертных оценок, однако, часто приходится сопоставлять много признаков. В таких случаях попарное сравнение комбинации факторов (например, по Спирмену) может оказаться чрезвычайно трудоемким, поэтому были разработаны специальные критерии, позволяющие относительно просто оценить согласованность мнений экспертов по ряду факторов.

Конкордация

Согласованность мнений по нескольким факторам оценивается с помощью коэффициента конкордации W, то есть общего коэффициента ранговой корреляции для группы, состоящей из m экспертов.

Доказано, что величина S, когда все эксперты дают одинаковые оценки по всем факторам, имеет максимальное значение, равное

где n – число факторов,

m – количество экспертов.

Однако, на практике такое событие невероятно, поэтому согласованность (коэффициент конкордации W) определяется как отношение фактической меры согласованности S к S_max :

W = S/S_max , или

Формула для расчета S приведена ниже:

,

где обозначения те же, что выше.

Рассмотрим процесс определения коэффициента конкордации на примере ранговых оценок, выданных 7-ю экспертами по 6-ти факторам (табл. ниже )

Для расчета сначала находится сумма оценок (рангов) по каждому фактору, полученная от всех экспертов, затем их средняя арифметическая, отклонения суммарной оценки фактора от средней и сумма их квадратов:

Таблица — Оценки факторов (объектов) экспертами фирмы
Эксперты	Факторы
	C1	C2			C3		C4		C5	C6
Э1	2	3			4		6		5	1
Э2	3	2			5		4		6	1
Э3	1	3			4		5		6	2
Э4	2	4			3		6		5	1
Э5	1	3			4		5		6	2
Э6	1	4			3		5		6	2
Э7	2	4			3		5		6	1
Сумма R = (Ri)	12	23			26		36		40	10			147
Средняя арифметическая по всей таблице. Она равна Rср = m*(n+1)/2 или вычисляется как обычно с помощью функции СРЗНАЧ()													Rср =24,5
Отклонения от средней суммы рангов (Rср)	-12,5		-1,5	1,5		11,5		15,5				-14,5
квадраты	156,25		2,25	2,25		132,25		240,25				210,25	S = 743,5
Rmin	10	10			10		10		10		10
Vi=Rmin/S	0,83	0,43			0,38		0,28		0,25		1		3,18
Wi=Vi/Svi	0,26	0,14			0,12		0,09		0,08		0,31

В нашем случае S_max = 1/12*6*49*(36 - 1) = 857,5, а S = 743,5

Коэффициент конкордации равен отношению W= S / S_max, , причем если W близок к 1, то все эксперты дали примерно одинаковые оценки, их мнения достаточно согласованны.

W = S/S_max = 743.5 / 857,5 = 0,87

Согласованность мнений экспертов высокая.

Еще раз хотелось бы подчеркнуть, что приведенные формулы пригодны только при строгом ранжировании (как в примере — у каждого эксперта все оценки попарно разные).

Список использованных источников:

1. Саати Т., Кернс К. Аналитическое планирование: Организация систем : Пер. с англ. — М.: Радио и связь, 1991. — 224 с.

2. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993. — 320 с.

3. Таха Х. А. Введение в исследование операций, 6-е издание : Пер. с англ. — М.: Издательский дом «Вильямс», 2001. — 912 с.

4. Блюмин С.Л., Шуйкова И.А. Введение в математические методы принятия решений. — Липецк: ЛГПИ, 1999

5. Карлберг К Бизнес-анализ с помощью Excel 2000.: Пер. с англ.: Уч. пособие. – М.: Изд. Дом “Вильямс”, 2000. – 480 с.

6. Берк К, Кэйри П. Анализ данных с помощью Microsoft Excel: пер. с англ. – М.: Издательский дом «Вильямс», 2005. – 560 с.: ил.

7. Бешелев С. Математико-статистические методы экспертных оценок, 1980

Методы принятия решений в условиях неопределенности и риска

Постановка задачи

Чтобы найти хорошее решение, следует:

1. Определить цель решения.

2. Определить возможные варианты решения проблемы.

3. Определить возможные исходы каждого решения.

4. Оценить каждый исход.

5. Выбрать оптимальное решение на основе поставленной цели.

Как видите, поиск решения начинается с перечисления возможных вариантов и их исходов, затем производится оценка каждого исхода. Такова схема рассуждений при проведении количественного анализа. Вышеперечисленные этапы важны как в очень сложных случаях, так и в очень простых.

Рассмотрим лишь некоторые из возможных целей принятия решений, но в любом случае выбор "лучшего варианта" зависит от обстоятельств и точки зрения того, кто принимает решение.

Пример 1. Отдел маркетинга компании "Singles pic" представил своему руководству данные об ожидаемом объеме сбыта программных продуктов при трех вариантах цены.

Таблица 1. Предполагаемые объемы продаж программных продуктов по разным ценам, руб.

Постоянные затраты составляют 40000 руб. в год, переменные — 4,00 руб. на единицу.

Решение состоит в том, чтобы назначить оптимальную цену. Заметим, у нас имеется всего лишь три варианта цены, т.е. только три возможных решения, и, чтобы облегчить расчеты, для каждого из вариантов по три исхода — различные объемы продаж.

Решение.

Для каждого исхода рассчитаем доход. В данном случае доход — это годовая прибыль.

Для того чтобы объяснить, какие трудности возникают в результате неопределенности, мы будем использовать данные из этой таблицы. Можно представить убедительные аргументы, которые приведут нас к одному из трех возможных решений.

Наибольшая прибыль для наиболее вероятного объема продаж равна 57600 руб. Эта цифра будет получена, если назначить цену в 8,80 руб. Однако цена 8,60 руб. предпочтительнее для компании, так как наиболее вероятная прибыль составляет примерно ту же величину, в то время как прибыль двух остальных исходов выше, чем для цены 8,80 руб.

Однако если мы примем во внимание постоянные расходы, то цена 8,00 руб. — единственная, при которой "Singles" не терпит убытков, так как низкая прибыль здесь не меньше, чем постоянные расходы — 40000 ф. ст.

Таким образом, для любого из трех решений существуют свои аргументы.

Какое решение будет принято, зависит от целей, которые оно преследует, и от отношения к риску - того, кто принимает решение:

Осторожный менеджер предпочтет цену 8,00 руб. двум другим: возможные прибыли меньше, но и потери сведены к минимуму. Поэтому в числе прочих должен решаться вопрос об отношении к риску. Сейчас мы рассмотрим, как правила принятия решений могут применяться в каждом конкретном случае, а к вопросу о риске вернемся позже.