Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Проектирование экспертных систем. Учебное пособие
.pdf
m1,i,
N
Nn
D
i
i
i
i
Nn
i
N
,
D
m
1
D
D
m
1i
i
i
от
i
Основными характеристиками группы экспертов является достоверность
экспертизы и затраты на нее. Обе эти характеристики определяют количество экспертов в группе и набор качеств каждого из них.
Хотя уровень компетентности эксперта важное качество, тем не менее, его
суждение не всегда может быть достоверным, каждый из экспертов может. В этом
случае необходима актуальная оценка, хотя бы определенная на основе информации о прошлом опыте его участия в решении проблем. В этом случае достоверность
эксперта можно оценить по формуле:
(2.20)
где
– число опросов, когда эксперт дал приемлемое практикой решение,
– общее число случаев участия i-ого эксперта в экспертизе.
Можно также учесть вклад каждого эксперта в достоверность всей группы.
Тогда относительная достоверность выражается в виде:
(2.21)
где m – число экспертов в группе, а в знаменателе – средняя достоверность
группы экспертов.
Для решения проблем необходима группа с высоким уровнем экспертного
потенциала знаний. Однако увеличение количества экспертов в группе приводит,
как это следует из теории обработки наблюдений, к монотонному возрастанию достоверности экспертизы и выходу ее на асимптотическое установившееся значение. Экспериментальные исследования подтверждают эту зависимость (рисунок
2.1).
71
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1 3 5 7 9 11 13
Рисунок 2.1 - Достоверность экспертизы от количества экспертов
Это означает, что вопрос количества экспертов в группе и точности оценок
есть вопрос компромисса.
Опрос на практике является основным этапом совместной работы группы
экспертов.
При коллективной экспертизе используются следующие виды опроса:
- дискуссия;
- анкетирование и интервьюирование;
- метод коллективной генерации идей;
- мозговой штурм.
Результатом опроса является информация, выражающая предпочтение экспертов и содержательное обоснование этих предпочтений. Наличие в опросе комбинации, как числовых данных, так и содержательных высказываний экспертов,
приводит к необходимости применения качественных и количественных методов
обработки результатов группового экспертного оценивания.
2.6 Обработка экспертных оценок
Рассмотрим основные задачи, которые решаются при экспертной оценке с
учетом целей экспертного оценивания и метода учета экспертных оценок:
альных оценок экспертов;
1) построение обобщенной оценки понятий и объектов на основе индивиду-
72
2) построение обобщенной оценки на основе парного сравнения объектов
каждым из экспертов;
3) определение относительных весов взаимосвязи объектов;
4) определение зависимостей между ранжировками;
5) определение согласованности мнений экспертов;
6) оценка надежности обработки результатов.
Обычно при решении многих практически важных задач недостаточно упорядочения объектов по одному или по группе показателей. Необходимо еще иметь
числовые значения для каждого объекта, определяющие его предпочтение перед
другими объектами ранжирования. Такие оценки должны быть сведены тем или
иным способом к обобщенной оценке данной всей группой экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения степени согласования способствует выработке правильного
суждения об общем уровне знаний по решаемой проблеме и выявлению степени
группирования мнений экспертов.
Обработка экспертных оценок интересна так же сама по себе, поскольку позволяет вскрыть связанные показатели сравнения и осуществить группировку по
степени связи. Так, например, если показатели сравнения – различные цели, а объекты сравнения – средства достижения этих целей, то установление взаимосвязи
между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть
установить причинно-следственную связь).
Оценки, получаемые на основе обработки, представляют собой статистические в большой степени вероятностные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.
73
h
ij
x
h
ij
x
l1hm
1j
jhijhi
n1,i,kxqx
j
k
m
1j
j
l
1h
h
1k,1q
m
1j
jhjh
kqq
h
q
j
k
h
q
2.6.1 Групповая экспертная оценка объектов при непосредственном оце-
нивании
Существует множество подходов к решению данной задачи. В качестве иллюстрации рассмотрим один из простейших.
Пусть m экспертов провели оценку n объектов по l показателям.
Результаты оценивания представлены величинами
j – номер эксперта, h – номер показателя. Величины
, полученные методам непо-
, где i – номер объекта,
средственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.
Групповую оценку для каждого из объектов можно определить как средне
взвешенное значение его оценки
(2.22)
,
где – коэффициенты весов показателей сравнения объектов,
– коэффициенты компетентности экспертов.
В этой формуле величины и
должны быть нормированными, то есть
. (2.23)
Коэффициенты qk могут быть определены экспертным путем, как средний
коэффициент веса h-ого показателя по всем экспертам, то есть
. (2.24)
Конечно, возможность получения групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:
- аксиом теории полезности фон Неймана-Моргенштерна для индивидуаль-
ных и групповых оценок;
74
m1,j
m
1
k
0
j
Exxmax
1t
i
t
i
- условий неразличимости объектов в групповом отношении, если они нераз-
личимы во всех индивидуальных оценках (частичный принцип Парето).
Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам проведенной оценки объектов. Основной
идеей этого вычисления является предположение о том, что компетентность эксперта должна быть тем выше, чем больше степень согласованности его оценок с
групповой оценкой объектов.
Для упрощения дальнейшего изложения, ограничимся рассмотрением случая
h = 1. То есть когда групповое оценивание объектов проводится на основе только
одного показателя. Алгоритм вычисления групповых оценок и коэффициентов
компетентности экспертов для этого случая имеет вид:
а) начальные условия на шаге t=0
, (2.25)
т.е. начальное значение коэффициентов компетентности для всех экспертов
принимается одинаковым и равным друг другу.
б) рекуррентные соотношения для t=1,2,3 ... представлены в таблице 2.4
в) признак окончания итерационного процесса
. (2.26)
Сходимость данной итерационной процедуры доказана, как известно из литературы для случая, когда индивидуальные оценки неотрицательны, а эксперты и
объекты не распадаются на отдельные группы (то есть когда каждая группа экспертов не оценивает объекты своей группы). Так как в большинстве практических задач эти условия выполняются можно считать это доказательством сходимости алгоритма.
Таблица 2.4 - Рекуррентные соотношения для опредения коэффициентов компетентности
75
- групповая оценка для i -ого объ-
екта на t-ом шаге на основе индивидуаль-
ных оценок .
- нормировочный коэффициент.
-коэффициенты компетентности j-
ого эксперта на t-ом шаге
- коэффициенты компетентности m-
ого эксперта из условия нормировки.
1,2,3j1,xx
2j1j
Эксперт 1
Эксперт 2
Эксперт 3
Мероприятие 1
0,3
0,5
0,2
Мероприятие 2
0,7
0,5
0,8
0,6670,333;x
0,6670,80,50,7
3
1
x0,3330,20,50,3
3
1
x
1
1
2
1
1
nikxx
m
j
t
jij
t
i
,1,
1
1
ij
x
nim
j
ijti
t
xx
1 1
1,1,
1
1
mjxxk
n
i
t
iij
t
t
j
1
1
1
m
j
t
j
t
m
kk
ij
x
1
2
1
1
2
1
1
3
1
11
665,12667,01333,08,05,07,02,05,03,0
i j
iij
xxxx
Пример. Три эксперта (m = 3) оценили значение двух мероприятий (n = 2) по
степени их влияния на решение одной из проблем (l = 1). Результатами экспертизы
явились нормированные оценки мероприятий
.
Таблица 2.5 - Результаты экспертной оценки
Вычислим групповые оценки мероприятий, приводящих к решению проблемы и на их основе определим коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е=0,001.
Средние оценки объектов первого приближения (при t =1) будут равны:
Вычислим нормировочный коэффициент :
76
0,67650,3235;xx
3
34,0667,07,0333,03,0
665,1
1
1
1
k
30,0667,05,0333,05,0
665,1
1
1
2
k
36,030,034,01
1
3
k
36,0;30,0;34,0
1
k
6765,0;0;3235,0676,0;0;324,0
32
xx
6765,1676,1
32
361,0;298,0;341,0361,0;298,0;341,0
32
kk
чения:
Значение коэффициентов компетентности первого приближения примут зна-
и тогда
Вычисляя групповые оценки второго и т.д. приближения, получим:
Видим, что уже результат третьего шага удовлетворяет условию окончания
итерационного процесса и за значение групповой оценки можно принять
.
2.6.2 Обработка парных сравнений
Понятно, что при установлении причинно-следственных зависимостей
между объектами предметной области, экспертам в ряде случаев сложно выразить
их численно. То есть трудно установить количественно степень влияния той или
иной причины (объекта) на конкретное следствие. Даже психологически это
сложно, если таких объектов много.
Вместе с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперту достаточно установить предпочтения
объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все
возможные пары объектов, в каждой из них устанавливает ту причину, которая, по
его мнению, оказывает большее влияние на следствие. Но в этом случае возникает
77
Rm
O1
...
Oj
...
On
R2
O1
...
Oj
...
On
R1
O1
...
Oj
...
On
O1
...
Oi
...
ji
ji
ji
h
ij
Oчемзначим,менееOобъектесли0,
ыравноправнOиOобъект0,5,
Oчемзначим,болееOобъектесли1,
r
i
O
jOij
r
1
ij
r
вопрос, как получить оценку всей совокупности объектов на основе результатов
парного сравнения, выполненного группой экспертов.
Пусть каждый из m экспертов производит оценку влияния на результат всех
пар объектов, давая числовую оценку
(2.27)
где h=1,2,...m – номер эксперта,
i,j=1,2,...n – номера объектов, исследуемых при экспертизе.
Т. е. по результатам экспертизы имеем m-таблиц (матриц) вида (рисунок
2.2):
Как следует из рисунка 2.2, последовательность обработки парных сравнений
заключается в том, что на основании таблиц парных сравнений m-экспертов строится матрица математических ожиданий оценок всех пар объектов. Затем по этой
матрице вычисляется вектор коэффициентов относительной важности объектов k.
Если при оценке пары Оij из общего количества экспертов m
высказались в
i
пользу предпочтение , mj экспертов в пользу , а mp считает эти объекты рав-
ноправными, то оценка математического ожидания дискретной случайной величины будет равна:
78
On m
O1
...
Oj
...
On k
O1
k1
...
...
Oi
ki
...
...
On
kn
T
n21
k,...,k,kk
T
n
0
111...1k
ijij
rMx
mh
m
m
m
m
m
m
rMx
jp
i
h
ijij
,1,05,01
jpi
mmmm
m
mm
m
mmm
m
m
x
jiji
i
ij
22
1
5,0
1
jiij
xx
ij
x
ij
xX
nn
Рисунок 2.2 Последовательность обработки парных сравнений
. (2.28)
Т.к. общее количество экспертов , определяя отсюда mp и
подставляя его в вышеприведенное выражение, получим
. (2.29)
Очевидно, что .
Совокупность величин образуют матрицу размерности ,
на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор
(2.30)
Одним из способов определения значений элементов вектора k является ите-
рационный алгоритм вида:
а) начальное условие t=0
(2.31)
79
1
t
t
kX
λ
1
k
t
n1,t,kX111...1λ
1tt
1k
n
1i
t
i
1(R1)
2(R2)
3(R3)
О1
О2
О3
О1
О2
О3
О1
О2
О3
О1
0,5
1
1 О1
0,5
0,5
0,5
О1
0,5
1
0,5
О2 0 0,5 0
О2
0,5
0,5
0,5
О2 0 0,5
0
О3 0 1
0,5
О3
0,5
0,5
0,5
О3
0,5
1
0,5
t
k
Ekk
tt
1
t
1,lim
1
n
i
i
t
t
kkk
б) рекуррентные соотношения
(2.32)
где Х – матрица математических ожиданий оценок пар объектов,
– вектор коэффициентов относительной важности объектов порядка t.
– условие нормировки.
в) признак окончания .
Если матрица Х неотрицательна и неразложима (то есть путем перестановки
строк и столбцов ее нельзя привести к треугольному виду), то при увеличении порядка величина сходится к максимальному собственному числу мат-
рицы Х, то есть
. (2.33)
Это утверждение следует из теоремы Перрона-Фробениуса и доказывает схо-
димость приведенного выше алгоритма.
Пример: Предположим, что в результате опроса трех (m=3) экспертов о сте-
пени влияния на результат трех (n=3) различных факторов (объектов) получены
следующие таблицы парных сравнений:
Эксперт - 1(R1 )
Эксперт - 2(R2)
Эксперт - 3(R3)
Таблица 2.6 - Результаты экспертной оценки
80
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]