Контрольные вопросы и задания

1. Составьте ячейки морфологического ящика по проблеме размещения свободных финансовых средств.

2. В чем качественное своеобразие морфологического подхода по сравнению факторным анализом, параметрическим исследованием?

3. В каких случаях целесообразно применение морфологического метода?

4. Почему морфологический метод обнаруживает особую продуктивность в прогнозировании?

5. По каким критериям подбираются решения проблемной ситуации?

Тема 11. Методология экспертных оценок

1. Основные цели и этапы в проведении экспертной оцени.

2. Качественные методы проведения экспертной оценки.

3. Количественные аспекты в проведении экспертной оценки. Метод Дельфы.

Современный этап научно-технического развития вызвал к жизни ярко выраженную потребность в разработке экспертных методов оценки проектов и исследовательских систем. В тех условиях, когда совокупность объективных показателей не всегда способна адекватно отобразить состояние исследуемой системы, становится целесообразным оценивать качество проектов и, соответственно, осуществлять их последующий отбор на основе мнения специально отобранных для этой цели специалистов-экспертов, владеющих методологией экспертных оценок и ориентированных на решение узловых проблемных задач.

Методология экспертных оценок применяется в следующих целях:

• для решения производственных задач;

• для согласования мнения между различными уровнями управления;

• для адекватной оценки ситуации;

• для оценивания характеристик совместной деятельности и общения.

Для решения многих проблем важно не столько нахождение наиболее правильного с технологической точки зрения варианта решения проблемной ситуации, но и в социальном плане максимально согласованного. В ходе в обсуждения проблемы целесообразно определить тот путь, который оптимален с точки зрения всех участвующих в обсуждении экспертов.

Привлечение эксперта должно опираться на следующие критерии:

1. Квалификация и опыт;

2. Владение экспертом методами экспертной оценки;

3. Специализация;

4. Представление экспертами всех звеньев технологической цепочки и уровней управления

Определить квалификацию эксперта можно по следующим критериям:

1. Число переменных, которые, по его мнению, существенны для принятия решения. Эксперт использует меньше переменных, чем не эксперт.

1. Важность этих переменных с его точки зрения, т.е. по их весовым коэффициентам.

1. Скорость или эффективность идентификации экспертом весовых коэффициентов.

1. Достоверность прогноза эксперта.

Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа - это исследование параметров управляемой системы, основанное на принципах организации коллективной мыследеятельности с использованием технологии экспертного опроса.

Технология проведения экспертного анализа предполагает прохождение ряда этапов.

Этапы экспертного анализа:

1. Подбор экспертов. В основу подбора экспертов кладутся следующие критерии отбора: квалификация, опыт и профессиональная принадлежность. При подборе экспертов необходимо обеспечение ряда условий: создание общей рабочей атмосферы, объекты экспертных оценок должны быть тщательно проранжированы по этапам экспертного анализа. И кроме того, работа экспертов должна предполагать введение функции внешнего управления.

2. Выделение критериев и условий принятия экспертных решений.

При принятии управленческих решений в расчет берется два обстоятельства: надежность и точности экспертного решения и согласованность экспертов между собой.

3. Выбор оптимального метода экспертного опроса.

Методы экспертной оценки:

1. Индивидуальные методы, основанные на использовании мнений экспертов, независимых друг от друга:

а) интервью,

б) анализ экспертных оценок.

2. Коллективные методы:

Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зрения достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительного круга специалистов. К числу этих методов следует отнести:

1. Мозговая атака

Задача метода: в условиях неопределенной ситуации разработать максимальное количество возможных решений (70 % усвоенной информации). Реализация метода предполагает выполнение ряда условий:

• максимально широкое участие заинтересованных лиц ( люди различных профессий, квалификаций специальностей);

• отсутствие административного воздействия на мнение слушателей;

• критика не допускается;

• оценка сделанных предложений производится позднее;

• возможность высказывания любых, даже самых безумных решений;

• метод предполагает создание комбинаций вынесенных идей.

• привлекается 10-15 человек.

2. Методика судов.

Суть методики заключается в такой организации обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая - дает критику этим предложения. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения.

3. Метод “черного ящика”

Экспертам выдается информация о характере и структуре проблемной ситуации. Эксперты самостоятельно разрабатывают способы решения данной проблемной ситуации и передают полученную информацию в аналитический центр “black box”, который вырабатывает рекомендации.

4. Метод эвристического прогнозирования

Метод предполагает использование экспертов узкой специализации. На основе предварительно разработанных анкет и таблиц разрабатывается единая модель исследуемого объекта, служащая инструментом нормативного прогноза.

5. Синектический метод

Технология метода предполагает прохождение этапов:

• Собираются мнения о решении данной проблемной ситуации среди исполнителей или низшего управленческого персонала.

• Отбираются мнения о решении проблемной ситуации среди работников высшего управленческого звена.

• Собранные результаты анализируются, группируются и выстраивается общая модель поведения.

6. Метод дневников

Используется в системе руководства с жесткой структурой должностных инструкций. Объект экспертной оценки вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по увеличению эффективности в деятельности группы/предприятия.

7. Метод Дельфы

Был разработан в 1964 году сотрудниками научно-исследовательской корпорации РЭНД О.Хелмером и Т.Гордоном. Основан на количественных оценках. Цель - вынести объективную и точную оценку существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

Этапы реализации метода:

1. Выделение альтернативных сценариев в решении определенных задач.

1. Последовательная поэтапная организация обсуждения результатов оценки экспертами, контакт которых друг с другом запрещен. Эксперты знакомятся с результатами оценки других экспертов лишь по письменным запискам.

1. Цель метода - нахождение оптимального сценария, опирающегося на максимально полную степень консолидации между экспертами.

Организационные требования к использованию метода Дельфы:

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в определенных рамках. Минимальное число экспертов можно вычислить по формуле:

N_min = 0,5 (3/b +5), где b означает ошибку результата, измеряемого в диапазоне экспертной оценки от 0 до 1. При этом должна иметь место стабилизация средней оценки исследуемой характеристики, когда включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на b.

1. Время между этапами опроса должно быть не более месяца.

1. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

1. Число туров (этапов) должно быть достаточно, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

1. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

1. Необходима формула согласованности оценок, основанная на данных самооценок.

1. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи.

1. Необходимо установить влияние общественного мнения на экспертные оценки и на сходность этих оценок.

1. В ходе реализации метода должен проводиться систематический отбор экспертов, основанный на данных экспертизы по турам и самооценкам.

Технология проведения экспертного опроса по методу Дельфы.

Использование метода Дельфы возможно при использовании нескольких вариантов. Общность вариантов обеспечивается путем сочетания критериев двух типов: точности и согласованности между экспертами.

Вариант 1. Использование экспертных оценок с учетом средневзвешенного интегрального коэффициента.

Строится таблица, в которую заносятся оценки экспертами вариантов решения проблемной ситуации. В таблице в диапазоне 5-бальной шкалы учитывается как общая экспертная оценка альтернативы, так и ее весовая характеристика, означающая значение этой альтернативы в ряду других (см. табл.11).

Табл. 11. Вычисление средневзвешенного

интегрального коэффициента

в экспертном опросе

Эксперт														Экспертная оценка								по 5-бальной системе
				X1		X2		X3		X4				X5				X6					X7				X8
1				4		3		3		2				4				3					5				4
2				4		3		4		2				4				3					4				4
3				5		2		4		3				4				3					4				4
4			5		2		3		2				5				3				5					5
5				4		3		4		2				4				2					5				5
Весомость				10		7		4		8				3				3					6				8
S				220		91		72		88				63				42					144				166

Анализ таблицы целесообразно проводить с учетом средневзвешенного интегрального коэффициента Км.

Км = S S ajbij / n , где Км - средневзвешенный интегральный показатель, i - количество экспертов(a,b...n), J - количество оцениваемых альтернатив(a,b...m), aj - весомость j-той альтернативы по 10-бальной системе, bij - оценка j-той альтернативы i-тым экспертом по 5-бальной системе:

Км=220+91+72+88+63+42+144+176 / 5 = 179

Полученную сумму необходимо сравнить с минимальной и максимальной границами условного диапазона. Как можно видеть из таблицы, полученный коэффициент находится ближе к максимальному полюсу, чем к минимальному. А это означает, что степень согласованности между экспертами достаточно высокая (около 0,7 по шкале Чеддвика).

min max

42 179 220

Весомость экспертных параметров определяется по формуле:

aj=S(Бji/Бci) / n , где

aj - весомость j-того параметра объекта;

i - номер эксперта;

j - номер параметра объекта;

n - количество экспертов в группе;

Бji - балл, присвоенный j-тому параметру i-тым экспертом;

Бci - сумма баллов, присвоенных i-тым экспертом всем параметрам объекта.

Вариант 2. Использование экспертной оценки при попарном сравнении признаков.

Используется при попарном сравнении исследуемых факторов друг с другом. Параметры сравниваются, и если первый из них имеет больший балл у i-того эксперта, то в таблицу заносится значение 2, если баллы равны - 1, а если балл второго параметра больше - 0. Характер количественного распределения экспертной оценки по данному варианту иллюстрирует таблица 12.

Табл. 12. 1. Попарное сравнение признаков в экспертном опросе

Соотношение параметров		Эксперты						S баллов		Средняя Оценка
	1		2	3		4	5
х1 и х2	2		2	2		2	2	10	2
х1 и х3	2		1	2		2	1	8	1,6
х1 и х4	2		2	2		2	2	10	2
х2 и х3	1		0	0		0	0	1	0,2
х2 и х4	2		2	0		1	2	7	1,4
х3 и х4	2		2	2		2	2	10	2

В дальнейшем, таблица уточняется в связи с обобщением данных по каждому параметру. Средние оценки, полученные в предыдущей таблице, заносятся в таблицу следующим образом: на пересечении строки X1 и столбца X2 ставится средняя оценка 2, а на пересечении строки X2 и столбца X1 ставится 0 (из максимального значения 2 вычитается средняя оценка 2).

Табл. 12.2.

Параметры	X1	X2	X3	X4	S
X1	1	2	1,6	2	6,6
X2	0	1	0,2	1,4	2,6
X3 Х4	0,4 0	1,8 0,6	1 0	2 1	5,2 1,6

Вариант 3. Использование экспертной оценки на основе правила среднего арифметического.

Экспертная оценка выносится на основе использования правила применения среднего арифметического. Правило среднего арифметического можно применять, когда коэффициент вариации не превышает 25%.

К примеру, пять экспертов следующим образом оценили факт нехватки оборотных средств в качестве основной причины неэффективной деятельности предприятия. Признание факта основной и главной причиной оценивалось в 5 баллов, а отсутствие или слабое проявление причинной связи оценивалось в 1 балл. Результаты опроса представляют данные таблицы 13:

Табл.13. Распределение экспертных оценок на основе правила среднеарифметического

1 эксперт	2 эксперт	3 эксперт	4 эксперт	5 эксперт
5	4	3	5	4

Подставляя данные в формулу коэффициента вариации

n =dx/x*100%, где d - показатель дисперсии

d=Ö(1/(m-1))S(Х_i-Xср)² , получаем

Х = 1/5 (5+4+3+5+4) = 4,2

d_х²= (1/(5-1)) [(5-2)² + (4-4,2)² + (3-4,2)² + (5-4,2)² + (4-4,2)² ] = 2,8 / 4 = 0,7

d_х ^{= Ö}0,7 = 0,83

n = 0,83 100% = 20%

4,2

Поскольку коэффициент вариации меньше 25%, то мнения экспертов согласованны, а среднюю арифметическую сумму в 4,2 баллов можно считать доказательством значимости выделенной выше причины.

Вариант 4. Использование экспертной оценки с учетом коэффициента конкордации.

Результаты анализа четырех исследуемых параметра (качеств) пятью экспертами иллюстрирует таблица 14:

Табл. 14. Экспертная оценка с учетом коэффициента тесноты связей

Качества	Эксперты							S рангов				S2	Результат
	1	2	3		4	5					рангов
А	1	1	1		2	2	7				49
B	2	2	2		1	1	8				64
C	3	4	3		4	3	17				289
D	4	3	4		3	4	18				324

S=726

Степень согласованности между экспертами можно определить с помощью формулы коэффициента конкордации:

W=X ²/(m(n-1)) , где

X² - параметр распределенности (коффициент тесноты связи)

X ²= 12S

mn(n+1) - 3m(n+1) , где

S - сумма квадратов рангов

n - число оцениваемых объектов

m - число экспертов

X²= (12*726/5*4(4+1))-3*5(4+1)=12,12

W= 12,12/5(4-1)=0,808 (по шкале Чеддвика - связь большая)

По величине коэффициента конкордации проверяется согласованность мнений экспертов. Если коэффициент близок единице, то мнение максимально согласованы друг с другом, если к нулю - то, напротив, рассогласованы. В остальных случаях необходимо учитывать уровень значимости a -показатель допустимой вероятности совершить ошибку при проверке согласованности. Обычно a принимают равным 0,05, а по специальным таблицам, при заданных величинах n и m , определяют, насколько мнения экспертов являются согласованными при данном уровне значимости. Допустимым условием является соотношение, при котором Х² > Х_кр²

К примеру, при n = 4 и m = 5 Х_кр² = 7,5 (по таблице). При сохранении соотношения 12,1 > 7,5 подтверждается вывод о согласованности мнений группы экспертов.

Вариант 5. Использование экспертной оценки на основе качественного отбора.

Наиболее простым способом использования методологии экспертной оценки для обоснования выбора альтернативных проектов является нижеприведенный вариант (см. табл.15).

Табл.15. Экспертная оценка на основе качественного отбора

Эксперты	Альтернатива 1			Альтернатива 2			Альтернатива3			Альтернатива4
	Р	Б	П	Р	Б	П	Р	Б	П		Р	Б	П
A	4	7	28	3	8	24	2	4	8		3	4	12
В	3	2	6	3	7	21	3	4	12		4	4	16
С	5	6	30	3	6	18	2	4	8		3	6	18
Итого			64			63			28				46

В таблицу закладывается оценка экспертом важности той или иной альтернативы с учетом ее практического внедрения, измеряемого при помощи бальной характеристики.

Р - ранг альтернативы (по 5-бальной шкале)

Б - балл (степень возможности реализации данной альтернативы)

П - произведение Р и Б

Особо следует рассмотреть технологию применения метода дельфийского совещания (метода Турофа)

Особенность метода составляет попарное сравнение объектов оценки, взаимоотношение между которыми выстраивается в таблицу 16.

Табл. 16. Схема попарного сравнения объектов оценки по методу Турофа

	A	B	C	D	S	S2
A		1	0	1	2	4
B	0		1	0	1	1
C	1	0		1	2	4
D	0	1	0		1	1

Итого 6 10

Технология метода состоит в построении матрицы сравнения, столбцы и строки которой соответствуют объектам, между которыми проводится сравнение.

Способ заполнения матрицы:

Каждым экспертом производится выбор между каждой парой объектов: если B хуже А, то в В ставим 0, а в А - 1.

Общая оценка по каждому эксперту проводится по формуле:

U=4(Sa²-SA)/m(m-1)

U= 4(10-6)/4(4-1)=1,3

В результате оценки каждым экспертом результатов сравнения между сравниваемыми объектами высчитывается коэффициент, который сравнивается с коэффициентом, вычисленным другим экспертом.

Итоговым результатом использования метода дельфийского совещания является максимальное сближение коэффициентов по турам экспертного опроса.