2. Этапы организации экспертного оценивания. Характеристики экспертов.

Этапы организации экспертного оценивания

1) Назначается руководитель работ. Он должен описать проблему, обосновать необходимость экспертного оценивания, цели и задачи экспертизы, сроки выполнения работ, материальное и техническое обеспечение.

2) Отбор экспертов. Определяется кол-во экспертов, состав экспертов ;согласовывается с экспертом( запрашивается мнение эксперта).

3) Характеристики экспертов.

Характеристики:

1. компетентность- степень квалифицированности в определённой области знаний.

K=(k_i+k_a)/2 принадлежит [0;1]. (коэффициент компетентности).

k_{i –} коэффициент информированности в данном вопросе(0 до 10 баллов *0.1)

k_a - коэффициент аргументированности

источники аргументации	Степень влияния высокая средняя низкая
Проведённый вами теоритический анализ Производственный опыт отеч. Литературные источники заруб. Литературные источники интуиция	0.3 0.5 0.05 0.05 0.05	0.2 0.4 0.05 0.05 0.05	0.1 0.2 0.05 0.05 0.05

0.2+0.5 +0.05+0.05+0.05=0.85 – коэффициент аргументированности

2. креативность- способность решать творческие задачи

3. отношение к экспертизе

4. конформизм (подверженность авторитетам)

5. самокритичность

6. оценка достоверности суждений эксперта

m– экспертов

D_i –достоверность суждений в экспертизах

D_i =D_y/N

N- кол-во участия эксперта в экспертизах

D_y - кол-во успешных участий в экспертизах

D= 1/m(i=1 доn) *D_i - средняя достоверность

D_{i отн.}=D_i/D– достоверность суждения эксперта относительно всех остальных .

4) Методы опросов экспертов (Анкетный опрос, Дискуссия, Интервью, Метод мозгового штурма, метод Делфи, Морфологический метод, сценарный метод)

5) Методы экспертного оценивания (ранжирование, метод непосредственных оценок, метод парных оценок)

3. Методы экспертного оценивания. Получение групповой оценки. Примеры.

Основа экспертных методов заключается в получении от экспертов, специалистов некоторой инфор-ии( качественной или количественной), обработки этой инфор-и и принятия решений.

Методы опроса экспертов

1. анкетный опрос; 2) дискуссия; 3) интервью; 4) метод мозгового штурма; 5)метод delphi;

6) морфологический метож; 7) сценарный метод

Цель опроса- получение от экспертов как можно больше идей, гипотез, оценок, подходов, сведений относящихся к проблеме.

Методы экспертного оценивания

• ранжирование

• непосредственных оценок

• метод парных оценок

1. Ранжирование. Пусть у нас имеетсяnальтернатив ( факторов, свойств, качеств….) х1,х2,…,хn. Ранжирование = упорядочение альтернатив выполняемое в шкале порядка. К каждой альтернативе приписывается ранг :

А) наименьшее предпочтение

Б) наибольшее предпочтение

Применение.

1.применяется для упорядочивания альтернатив по значимости.

2. для оценки степени обладания альтернативы каким то качеством.

3. когда качественную характеристику не представляется возможным определить количественно.

Свойства:

1. несимметричности x_i (знак лучше)x_j, тоx_i x_j

2. транзитивности x_i (знак лучше)x_j, x_j (знак лучше)x_k, x_i (знак лучше)x_k/

3. полноты x_i (знак лучше)x_j, либоx_j (знак лучше)x_i, либоx_i x_j

пример:

альтернативы	Х1	Х2	Х3	Х4	Х5
ранжирование	4	3	5	2	1

X3х1х2х4х5 - ряд предпочтений

r1=4,r2=3,r3=5,r4=2,r5=1

(от 1 доn)r_i=(n*(n-1))/2

Пример:

Х5х4х3х2х1

Связные ранги(стандартизированные ранги)

r1=1

r2=r3=(2+3)/2=2.5

r4=r5=(4+5)/2=4.5

2. метод непосредственных оценок.

Значение альтернатив описывается в шкале интервалов. Затем каждому интервалу присваивается оценка в баллах. Оценка обладания качества или по степени значимости.

Пример. Эксперты оценивали по школе от 0 до 100 9 направлений исследований. Оценив степень их важности для достижения цели.

направ	Х1	Х2	Х3	Х4	Х5	Х6	Х7	Х8	Х9
оценки	40	30	80	90	20	100	60	70	50
ранги	7	8	3	2	9	1	5	4	6

Нормировка оценок применяется для того чтобы нагляднее показать соотношение между оценками.

nоценокy_i

y_{i норм}[0;1]y_{i норм}=y_i/(от 1 доn) *y_i

Пример.

В оценивании участвуют mэкспертов нужно получить обобщённые ранги. Матрица предпочтений:

эксперты	Х1	Х2	Х3	Х4
Э1	1	2	3	4
Э2	2	1	3	4
∑ рангов	3	3	6	8
ранг	1.5	1.5	3	4

m-экспертов,nальтернатив. Для каждой альтернативы даны оценки в баллах. Для каждого эксперта нормируем оценки альтернатив, затем для каждой альтернативы. Эти нормированные оценки симмируются и делятся на кол-во экспертов, полученная величина наз-ся весом.