Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Национальный исследовательский ядерный университет (МИФИ)

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Лекции по ТПР / Экспертные методы 2014

.pdf

Скачиваний:

Добавлен:

05.06.2015

Размер:

1.09 Mб

Скачать

☆

<<< < Предыдущая 1 23 / 53 4 5 > Следующая >>>

полнения матрицы

x ijk

при оценке объекта указать номер класса, к ко-

торому он относит объект.

Определение групповых оценок объектов

В качестве групповой оценки объекта j в методе классификации используется адекватная статистика. Для шкалы классификации – это мода распределения личных оценок экспертов j объекта. Для определения моды распределения вычисляются величины

m j x jk xijk i 1

где mj – число экспертов, оценивших j объект.

x jk	определяет количество экспертов, отнесших объект j к классу k.

Групповой оценкой объекта j является индекс класса, соответст-

вующий	max ( x j,k )	Другими словами, в методе классификации для
	k

определения групповых оценок используется правило большинства: объект j относят к тому классу, к которому отнесло его большинство экспертов.

Если заданы коэффициенты компетентности экспертов K1,…,Km, то xjk вычисляются по формуле:

m
j
x jk K	i	i
x jk K		x jk .
i 1

Групповая оценка в этом случае также определяется по

max(x
k	j,k

)

Бинарную матрицу групповых оценок обозначим через

x jk

Анализ достоверности групповых оценок

В методе классификации оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Исходя из общей формулы коэффициента согласия, приведенной в п. 3, выведем выражение для коэффициента, используемого при обработке экспертных оценок в методе классификации. Сначала, выведем формулу для Ej, характеризующего согласованность экспертов по одному объекту j.

Коэффициент корреляции оценок пары экспертов i и l по объекту равен:

cov( x

, x

)

Ril

После преобразования получим:

S cov x

, x

S 1 k 1

Коэффициент согласия экспертов по объекту j равен

m j m j

S m j

E j

2 Ri,l

1)m

2 x jk

i 1 l

k 1

i 1

Введем обозначения:

		(5)
.		(5)

m		2
	j	(6)
		(6)
S
S

				m
				j
						i
		x jk x jk					,
				j 1
			S				m
d				x
								j
	j				jk		S
			k 1				S

тогда выражение для Ej перепишется в виде:

	E j	S d j
	E j	(S 1) m2
		(S 1) m2
		j

	2

(7)

(8)

Оценку согласованности экспертов по всей


можно	провести, если	все	эксперты дали
т.е. m j	m j 1,2,..., m . В этом случае
			S		n	S
	R		S						i
	R							x	jk
	i,l	(S	1) n						jk
		(S	1) n		j 1 k 1
					j 1 k 1
				S			n
		E		S			d j
		E			2	n	d j
		(S		1) m		n	j 1
							j 1

совокупности объектов оценки всех объектов,

1			l	1
		x jk			,	(9)
S				S
1	n
1	E j .					(10)
n	E j .					(10)
n	j	1
	j	1

Как указывалось в п. 3, проверка значимости коэффициента согласия заключается в проверке гипотезы H0 случайности совпадении мнений экспертов, которую можно также интерпретировать и как случайность проставления экспертами своих оценок.

Ej, когда гипотеза

Сначала рассмотрим вопрос оценки значимости коэффициентов согласия Ej (по каждому объекту). Для проверки гипотезы в качестве статистики используем Еj, вычисляемую по формуле (8). Найдем функцию распределения H0 верна и число экспертов тj достаточно большое (метод классификации требует привлечения значительного числа экспертов m 10 ).

Выражение (6) для Ej перепишем в виде:

		S	S
			S
E	j	2		x
	j	2
		(S 1)m j	k 1

Введя переменную yijk

1/ S

(S 1)m j

k 1

i 1

xi	1/ S
jk		, формула примет вид:


	1/ S

	1	S m j	2
E j	1	yijk	.

	2
	(S 1) m j
	(S 1) m j	k 1 i 1

(11)

(12)

В соответствии с центральной предельной теоремой сумма независи-

	m
	jk
мых одинаково распределенных случайных величин		y	i	при доста-
мых одинаково распределенных случайных величин		y		при доста-
	k 1

точно большом числе слагаемых распределена по нормальному закону.

		m				M z jk 0
Значит, z jk yijk распределена по нормальному закону с						M z jk 0
		k 1
и	2	z jk mj .
и		z jk mj .
				z
	После нормировки		z jk перейдем к u jk	jk	, распределенной по
	После нормировки		z jk перейдем к u jk	m	, распределенной по
				m	j
					j

нормальному закону с	M

с учетом (13) примет вид:

(u	jk	)
	jk
	E		j
			j

и(u jk )

1S u

1) m2 kj 1

2 . jk

. Выражение (12)

(14)

Сумма квадратов независимых нормально распределенных случайных величин, в свою очередь, распределена по закону Пирсона с числом сте-

пеней свободы , равным числу слагаемых в сумме за вычетом количе-

ства наложенных связей на элементы суммы [3]. Таким образом,

распределена по закону Пирсона с числом степеней свободы

2 jk

т.к. на каждую строку матрицы

x	jk

накладывалось условие

x jk m j . k 1

Из (14) получаем, что когда гипотеза H0 верна, статистика

	2	mj (S 1)Ej	(15)

распределена по закону Пирсона с числом			степеней свободы
S 1.

Для проверки гипотезы H0 необходимо задать уровень значимости который характеризует требования к надежности групповых оценок, по

таблицам распределения

определить

табл

При малом числе экспертов для проверки значимости

пользовать специальные таблицы распределения

E j

при

E j	следует ис-

малых выбор-

ках.

Решающим правилом для того, чтобы считать коэффициент согласия значимым и, соответственно, групповую оценку объекта Oj достоверной,

является следующее неравенство:

2		2
2		2
j	расч	табл
	расч	табл

или E j расч E j табл.

Проверка значимости коэффициента согласия E по всей совокупности

объектов осуществляется аналогично Еj. При этом статистика ляется по формуле:

2расч m n(S 1)E ,

число степеней свободы		2	равно	n (S 1) .

	2	вычис-

(16)

При малом числе экспертов для проверки значимости E следует использовать таблицы распределения E при малых выборках.

Говоря о сравнении оценок объектов, данных различными экспертами, необходимо остановиться на коэффициенте корреляции.

Максимальное значение коэффициента корреляции, вычисляемого по формуле (9), равно 1, а минимальное значение соответствует несовпадению оценок экспертов и равно:

min

S 2

2 1

1)n

j 1

. (17)

S 2 2 S 1

(S 1)n

S 2

S 1

Как видно из (17),

R	min

il

зависит от числа классов и отрицательно.

Однако в шкале наименований между шкальными значениями устанавливается только отношение равенства и отсутствует отношение порядка, как в других шкалах (порядка, интервалов, отношений). Поэтому, сравнивая оценки, измеренные по шкале наименований, не имеет смысла говорить об отрицательном коэффициенте корреляции.

Поэтому для оценки согласованности оценок двух экспертов или согласованности оценок одного эксперта с групповыми введем специальный

коэффициент корреляции для шкалы наименований

	R	H
	R	il
		il

(индекс "Н" ука-

зывает на шкалу наименований), который будет меняться в интервале (0; 1). Значение "нуль" соответствует несовпадению оценок экспертов, а еди-

ница полному совпадению. Выражение для RilH получим из формулы (9),

для

R	il

– путем линейного преобразования

R	H	R
	H
il		il

Коэффициенты

найдем из следующих условий:

R	H	(min)
	il

R min il

;

R	H	(max) R	max
	il		il

С учетом (17) эти условия запишутся в следующем виде:

		1
0		S 1
		S 1
1 .

Решением этой системы уравнений является:

;

S 1	;	1	.
S		S

Подставим эти выражения в (9):

(S 1)

1 n j 1

k 1

В результате преобразования получим:

1		l
	x	jk
S		jk
S

	1

	S

1 S

Подсчет

	R	H
	R	il
		il

Ril		x jk x jk .			(18)
	1	n	S
H			i	l
	n	j 1	k 1
		j 1	k 1

осуществлять довольно просто: достаточно вычислить

количество объектов, по которым оценки экспертов совпали, и отнести результат к общему числу объектов n.

Проверка на значимость коэффициента корреляции заключается в проверке гипотезы H0 о независимости оценок i и l экспертов, которую

можно интерпретировать и как гипотезу равенства R H нулю. i,l

Если рассматриваемая гипотеза верна, то вероятность того, что

xijk xljk = 1, т.е. того, что совпадут оценки j объекта у i и l экспер-

k 1

тов, равна

1 S

, а вероятность того, что оценки экспертов не совпадут

(

S xijk

k 1

Так

l	S 1
x jk = 0), равна		.
x jk = 0), равна	S	.
	S

как оценки объектов независимы, то вероятность совпадения оце-

нок всех п объектов i и l экспертов, т.е. RiH,l 1, равна

	H
ность того, что совпадут оценки (n-1) объектов, т.е.	Ri,l

 

	n




n

. Вероят-

1	, равна

	n 1

S 1		1
	C
S		n

Вероятность того, что

R	H	n
	H
i,l		n
		n

равна

1		n p S 1		p	p
					Cn .
			S		Cn .
S			S
						H
	Функция распределения					Ri,l	при выполнении выдвинутой гипотезы

может быть получена из следующего выражения:

		H
P R
	i,l

По заданному

n p	p		1	n q
n p			1

n	q	0	S
	q	0

уровню значимости

S S

1	q		p
1		q
		C

q 0n

находится

(S 1)		q
(S 1)
S	n
S
H
Rтабл .

Cq . n

Решающее

правило для отвержения выдвинутой гипотезы о независимости оценок

экспертов имеет вид RiH,l RтаблH .

По коэффициенту корреляции рекомендуется оценивать согласованность мнений каждого эксперта с групповыми оценками.

1.2.5. Обработка экспертных оценок, полученных по методу ранжирования

тов

Оценками объектов

i	.
R	.
j

j 1,2,...,n

эксперта i являются ранги объек-

Анализ оценок каждого эксперта

В методе ранжирования проверка экспертных оценок производится на выполнение следующих условий:

а) все ранги

1/2;

n	n
б) R j	n
i
j 1

	R	i
		j

	(n
	2

должны быть либо целыми числами, либо кратными

1)	;	i 1,2,...,m ,	(23)

В случае если для оценок какого-либо эксперта эти условия не выполняются, производится коррекция рангов аналитиком или программой обработки данных.

Определение групповых оценок объектов

необ-

вычисления связанных рангов. Поэтому по ряду

Групповой ранг

ния рангов	R	i	i
		j

Г
( R j	) объекта j определяется как медиана распределе-
1,2,...,m , присвоенных этому объекту всеми экспер-

тами. Для этого ранги

	R	i
	R	j
		j

упорядочиваются по возрастанию и групповой

оценкой является среднее по порядку полученного ряда. Например, оцен-

ками объекта j являются следующие ранги:

Э1 Э2 Э3 Э4 Э5

Oj 1 3 2 3 3

После упорядочения получим ряд: 1; 2; 3; 3; 3. Групповой оценкой rj объекта j будет 3.

Вычисленные групповые оценки rj еще не будут групповыми рангами, так как не всегда выполняется условие (23), определяющее правильность

rj j 1,2,...,n

ходимо определить групповые ранги объектов

	R	Г
	R	j
		j

j 1,2,...,n . Если,

например,

r	j

2;2;4;4;6

, то

	R	Г
	R	j
		j

1;2,5;2,5;4,5;4,5;6

В случае, когда заданы коэффициенты K i i 1,2,..., m , медиана распределения R

компетентности экспертов

	i	определяется из условия
	j	определяется из условия
	j

равенства суммы ki слева и справа от rj. Для этого вычисляется

	1	m
	1	K
		i
	2	i 1
		i 1

, упорядоченному ряду рангов

	R	i
	R	j
		j

сопоставляется ряд ко-

эффициентов компетентности экспертов, и находится rj, соответствующий Km. Так, если в рассматриваемом выше примере заданы коэффициен-

ты		компетентности	экспертов
K 1 4; K 2	2; K 3	6; K 4 3; K 5 1 , то	упорядоченному ряду

рангов

сти K	i

i	1;2;3;3;3
j	1;2;3;3;3
j
4;6;3;2;1		, а

соответствует

K	m	1/ 2 4
	m

ряд коэффициентов компетентно-

2 6 3 1 8 .

Вычисленному Km по ряду Ki соответствует оценка эксперта с коэффициентом компетентности равным 6, т.е. оценка второго эксперта в упорядоченном ряду. Значит, rj = 2 является групповой оценкой объекта.

Анализ достоверности групповых оценок

В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Рассмотрим сначала вопрос оценки согласованности двух экспертов i и l. Для сравнения оценок, полученных по методу ранжирования, можно использовать коэффициенты ранговой корреляции по Спирмену и по Кендэлу [6]. Более надежным из них является коэффициент ранговой корреляции по Спирмену, который в дальнейшем и будет использоваться:

		i	l
	cov R		, R
R		j	j	.	(24)
R	i		l	.	(24)
i,l	i	S	l
	S	S

Коэффициент согласия определяется как среднее попарных коэффици-

	1		m	m
ентов корреляции: E	1		i,l
		2	i,l
	m			R
	m		i 1	l 1
			i 1	l 1

Получим выражение для коэффициента согласия иначе. Рассмотрим предельные случаи.

Случай полного согласия, когда у всех экспертов одинаковые ранги.

Сумма рангов по экспертам

Rj	m
Rj	Rj
	i
	i 1

в этом случае будет

представлять собой ряд: m, 2m, 3m, …, nm. В качестве меры согласованности экспертных оценок используем

j 1

n 1

где среднее значение

j 1

Для рассматриваемого случая полного согласия выражение

иметь вид:

n 1

S m j

j(n 1)

j 1

n(n 1)(2n 1)

Учитывая, что

выражение

j 1

(25)

(25) будет

	2
	2
		.

для S

перепишется в виде:

		n(n 1)(2n 1)		n(n 1)		n(n 1)	2			n	3	n
S m	2	n(n 1)(2n 1)		n(n 1)	(n 1)	n(n 1)		m	2	n		n
	2								2
			6	2		4					12
			6	2		4					12

(26)

Для случая полного согласия значение S будет максимальным. Рассмотрим случай полного несогласия экспертов. Очевидно, что для

него все значения

Rj	m
Rj	Rj
	i
	i 1

будут равны среднему значению

1 2

. Тогда величина S, вычисляемая в соответствии с (25), буде

равна нулю.

Коэффициент согласия должен иметь значения от нуля до единицы, поэтому выражение для Е запишем в виде:

E		S
	S
		max

		12S
m	2	(n	3	n)

(27)

Это выражение получено, когда у экспертов отсутствуют связанные

ранги. Если есть связанные ранги, то	Smax				уменьшается и выражение
(27) запишется в виде:
E					12S	(28)
E						(28)
						m
m		2	(n	3	n) m	i
m			(n		n) m	T
						i 1

Поправки Ti на связанные ранги определяются по формуле:

ni	tij ,
Ti (tij )3	tij ,
j 1
Следует отметить, что при отсутствии связанных рангов (все		t

Ti 0 ) и выражение (28) совпадает с (27), значит (28) является

(29)

i	1	и
i
j

общим

для Е.

Выражение (28) можно получить используя (24) и общую формулу для

	1	m	m
коэффициента согласия E	1	Ri,l .
коэффициента согласия E	2	Ri,l .
	m	i 1	l 1

<<< < Предыдущая 1 23 / 53 4 5 > Следующая >>>

Соседние файлы в папке Лекции по ТПР

#
05.06.2015809.58 Кб76Многокритериальные задачи.pdf
#
05.06.20151.07 Mб63Оценка объектов по многоуровневой системе критериев.pdf
#
05.06.2015169.1 Кб64Пример варианта КР (ORESTE).pdf
#
05.06.2015618.11 Кб193Пример решения МКЗ (PROMETHEE I, II).pdf
#
05.06.2015791.26 Кб50Функциии полезности.pdf
#
05.06.20151.09 Mб62Экспертные методы 2014.pdf