Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Системы организационного управления. Учебное пособие
.pdf
101
4. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК
В связи с ограниченными возможностями применения в управлении экономико-математических методов, отсутствием во многих
случаях статистической и другой информации, а также надежных методов определения соответствия экономико-математических моделей
реальным объектам в управлении применяются методы экспертных
оценок, которые являются эффективными, а также единственным
средством решения многих задач.
Метод экспертных оценок – это метод анализа и обобщения
суждений и предположений с помощью экспертов
.
В тоже время экспертные оценки имеют существенные недостатки:
1.
Нет гарантий, что полученные оценки в действительности
достоверны.
2.
Имеются определенные трудности в проведении опроса экс-
пертов и обработке полученных данных.
Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Однако
данное утверждение не всегда имеет истинное заключение, т.е. единодушие большинства экспертов не всегда является критерием дос
-
товерности оценок. Это обусловливает необходимость тщательного
отбора экспертов.
Используя экспертные оценки, предполагают, что при решении
проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что
совокупность индивидуальных ответов экспертов должна включать истинный ответ.
Эксперт может одни и те же события при нескольких повторных
экспертизах оценить по-разному. Чем устойчивее оценки, тем больше
можно им доверять.
При нахождении оценок экспертным путем существуют погрешности:
1.
Вносимые недостатком информации о событиях.
102
2. Обусловленные недостаточной компетентностью экспертов.
3.
Связанные с заинтересованностью экспертов в результатах
оценки.
Одним из показателей, характеризующих пригодность эксперта,
является степень его надежности. Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую вероятность тем событиям, которые впоследствии реализовывались. Чем чаще эксперт оказался прав, тем выше его авторитет. Однако необходимо иметь
в виду, что могут существовать обстоятельства, когда эксперт, несведущий в данном вопросе, дает правильный
ответ с высокой степенью вероятности. Например, на стабильных
рынках можно успешно прогнозировать ситуацию на ближайшее будущее, принимая ее такой же, как и сегодня.
Применяются индивидуальные и групповые (коллективные)
экспертные опросы.
Основными целями использования индивидуальных
экспертных
оценок являются:
1.
Прогнозирование хода развития событий и явлений в буду-
щем, а также оценка их в настоящем (количественная и качественная
оценка вероятности реализации определенного события в будущем,
прогнозирование характеристик объекта и направлений их развития,
определение целей и стратегий в организационном управлении, ранжирование различных объектов).
2.
Анализ и обобщение результатов, представленных другими
экспертами.
3.
Составление оперативных сценариев и версий.
4.
Выдача заключений на работу других специалистов или ор-
ганизаций (рецензии, отзывы, экспертизы и т.д.).
Отдельный эксперт в ряде случаев может быть очень полезен
как источник информации и как советник для руководителей, принимающих решения.
К числу групповых экспертных опросов относятся:
1.
Открытое обсуждение поставленных вопросов с последую-
щим открытым или закрытым голосованием.
2.
Закрытое обсуждение с последующим закрытым голосовани-
ем или заполнением анкет экспертного опроса.
3.
Свободные высказывания без обсуждения и голосования.
103
Групповые экспертные оценки могут быть получены при опросе
экспертов как одной специальности, так и разных. В последнем случае экспертная оценка носит характер деловой игры.
Первый тип опроса не является лучшим методом. Основным
недостатком является взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных
публично.
Второй тип групповых экспертных оценок можно подразделить
на две категории: экспертный опрос, проводимый в один тур путем
одноразового заполнения анкет, и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.
К экспертным оценкам, также относятся метод «Дельфи», метод
коллективной генерации идей, анкетный
метод, метод экспертных
опросов, теория игр, методы экономических индикаторов и индексов.
4.1. Метод «Дельфи»
Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров.
Создатели этого метода назвали его «Дельфи» по имени древнегреческого города Дельфи, который заслужил свою известность оракулами, занимавшимися предсказаниями будущего. Это были предсказания, которые обнародовались лишь после тщательного обсуждения на совете дельфийских мудрецов и досконального ознакомления
всех членов совета с обстоятельствами дела.
В методе реализован групповой подход к решению задачи или
ее оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами без непосредственных контактов
между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений.
В одном из вариантов этого метода прямое обсуждение
заменяется обменом информацией и мнениями с помощью тщательно разработанных вопросников. К участникам обращаются с просьбой не
только высказывать свои мнения, но и привести их обоснование, а в
каждом из последующих туров опроса им выдается новая и уточненная информация по высказанным мнениям, которая образуется в ре-
104
зультате расчета совпадения точек по ранее выполненным этапам работы. Этот процесс проходит до тех пор, пока совпадение точек зрения становиться значительным.
Пример
Каждый эксперт дает свою оценку объекту С. Располагаем
1.
ответы в порядке возрастания предлагаемых значений и определяем
Q
квартили
, M и Q3 таким образом, чтобы каждый из четырех интер-
1
валов, образованных этими тремя точками на линии значений объектов
С, содержал примерно одну четвертую часть оценок. Для 11 уча-
стников это выглядит следующим образом:
С
19
Q
С
3
С
1
С
С
2
Q
С
3
1
С
4
С
5
M
С
6
7
С
8
10
С
11
Значения Q
2.
, M и Q3 (мнение экспертной группы) сообщаем
1
участникам опроса и, если первоначальная оценка выходит за между-
Q
квартальное значение (
– Q3), просим пересмотреть ее, а также вы-
1
сказать свои соображения, почему ответ должен быть ниже или выше
значений, определенных 75 % участников первого тура.
3.
Передаем результаты второго тура в обобщенной форме всем
участникам опроса, включив сюда новые квартили и медиану. Фиксируются обоснования уменьшения или увеличения значений, предложенных участникам опроса во втором туре. После этого экспертов
просят рассмотреть новые оценки и их обоснования, высказать свое
мнение об их весомости и пересмотреть свою предыдущую оценку
.
Если пересмотренные оценки выпадают из межквартальных значений, то автора просят кратко изложить причины его несогласия с аргументами, которые привели бы его оценку ближе к значению медианы.
4.
Участникам опроса сообщают квартили третьего распределения
ответов и контраргументы, высказанные в третьем туре, и просят еще
раз пересмотреть оценки. Медиана, полученная в результате четвертого
тура, принимается в качестве значения групповой экспертной оценки.
4.2. Метод коллективной генерации идей
105
Метод коллективной генерации идей (по американской терминологии метод «мозговой атаки») направлен на получение большого
количества идей.
При проведении опроса проблема должна быть сформулирована
в основных терминах с выделением центрального вопроса. Кроме того, предусматриваются отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках
данного вопроса, стремление
к получению максимального количества
идей. При этом учитывается принцип повышения вероятности полезных предложений с увеличением общего их количества, поощрение
различных комбинаций идей и путей их совершенствования.
Групповое мышление производит на 70 % больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными являются группы в 10…15 человек.
Так как результаты
этого метода представляют не совокупность
несвязанных высказываний, а систему идей, ни одно предложение не
персонифицируется. Результаты обсуждения считаются собственностью группы. При этом на рассмотрение не рекомендуется выносить
проблемы, затрагивающие чей-либо приоритет в рассматриваемой
области.
Основным недостатком метода является значительный уровень
информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный
характер генерации идей.
4.3. Анкетный метод
Вопросник – опросный лист для получения каких-то сведений.
Он выполняет следующие функции.
1.
Переводит цели исследования в вопросы.
2.
Стандартизирует вопросы и форму ответа на них.
3. Текст и последовательность вопросов способствуют коопера-
ции интервьюера с респондентами, стимулирует получение ответов
на все вопросы.
4.
При автоматическом введении данных вопросника в компью-
тер ускоряет анализ результатов исследования.
5.
Служит целям проверки надежности и достоверности оценок.
Вопросник составляется в следующей последовательности:
1.
Определение целей опроса.
2. Выбор методов сбора данных.
3.
Разработка вопросов.
4.
Оценка вопросов.
5. Одобрение со стороны клиента и заказчика.
6.
Тестирование.
7.
Уточнение анкет.
8. Копирование анкет.
9.
Сбор данных.
10.
Табулирование и составление заключительного отчета.
Вопросник состоит из трех частей: введения, реквизитной части
и основной части.
Главная задача введения – убедить респондента принять участие
106
в опросе. Оно должно содержать цель проводимого опроса и должно
показать, какую пользу получит респондент, приняв участие в опросе. Из введения должно быть понятно, кто проводит данный
опрос и
сколько потребуется времени для ответа на поставленные вопросы.
Если вопрос проводится по почте, введение может быть написано в
виде сопроводительного письма.
В реквизитной части приводится информация, касающаяся рес-
пондентов.
1.
Возраст, пол, принадлежность к определенному классу, род
занятий, семейное положение, имя и адрес – для частных лиц.
2.
Для организаций – размер, местоположение, направление
производственно-хозяйственной деятельности, положение респондента в организации, его имя.
Необходимо идентифицировать вопросник, т.е. дать ему название, указать дату, время и место проведения опроса, фамилию интервьюера.
При разработке основной части следует обратить внимание на
тип вопросов и формат ответов, содержание вопросов и их
число, последовательность представления вопросов в анкете, наличие контрольных вопросов.
Существуют три основных формата задаваемых вопросов: от-
крытые вопросы, закрытые вопросы и вопросы со шкалой ответов.
107
Открытый вопрос – это вопрос анкеты, с помощью которой собирается первичная информация. Он позволяет опрашиваемому на
вопрос отвечать своими словами. Примером вопроса является вопрос:
«Что вы думаете о …?». В таких вопросах должна отсутствовать
предвзятость, стремление навязать определенный ответ. Ответы на
открытые вопросы требуют достаточно больших затрат времени. При
этом полученные
ответы могут быть интерпретированы по-разному.
Закрытый вопрос включает все возможные варианты ответов, из
которых опрашиваемый делает свой выбор. Существует два варианта
вопросов.
1.
Дихотомический, типа «Имеете ли вы …?». В данном случае
имеется только два варианта ответа: да; нет.
2.
Многовариантного выбора, типа «Где вы берете информа-
цию?» с определенными вариантами ответов, из которых респондент
может выбрать один или несколько ответов.
Использование закрытых вопросов активизирует деятельность
респондентов по заполнению анкет, облегчает процесс ввода полученных данных.
Недостатками вопросов с многовариантным выбором являются.
1.
Трудности формулирования всех возможных вариантов отве-
тов, характеристик или факторов.
2.
Трудности, обусловленные необходимостью использовать
общепринятую терминологию для понимания всеми респондентами
заданных вопросов.
3.
Трудность измерения относительной важности отдельных
альтернатив, характеристик и факторов. Относительная важность может определяться качественной или количественной шкалами.
Трудности, обусловленные разработкой анкет с многовариантными ответами, преодолеваются следующим образом:
1.
Организуется дискуссия в малой группе 8…10 человек по по-
воду набора вопросов, факторов, терминологии и др.
2.
Проводится интервью с потенциальным респондентом, в ре-
зультате которого уточняются вопросы, характеристики, факторы и
терминология.
Вопросы со шкалой ответов предполагают проведение измерений изучаемых свойств и параметров в процессе проведения опроса.
108
Определяя содержание вопросов, необходимо учесть следующие обстоятельства:
1.
Вопрос должен быть сфокусирован на единственной пробле-
ме или теме.
2.
Вопрос должен быть кратким. Следует избегать неопреде-
ленности и многословности формулировок, особенно когда вопросы
излагаются устно. Сложные и длинные вопросы рассредоточивают
внимание респондентов на отдельных его частях, и вместо ответа на
весь вопрос он может дать ответ только на одну часть.
3.
Все респонденты должны понимать заданный вопрос одина-
ковым образом и отвечать на один и тот же вопрос, а не на свои варианты его домысливания.
4.
Необходимо избегать формулирования в одном предложении
двух вопросов.
5.
Следует использовать повседневный язык респондентов, тер-
мины, понятные каждому потенциальному респонденту, в том числе
жаргон.
6.
Вопрос не должен выходить за рамки опыта респондента.
7.
По возможности вопрос не должен касаться прошлого, так
как не се обладают хорошей памятью.
8.
Если вопросы касаются будущего, то следует помнить, что
человек часто меняет свое мнение в зависимости от обстоятельств.
9.
По возможности в вопрос не должен содержать примеров, так
как респондент может сосредоточить свое внимание только на них.
10.
Не следует склонять респондента делать обобщения, выхо-
дящие за рамки его опыта.
11.
Вопросы следует формулировать в нейтральной последова-
тельности без некой положительной или отрицательной оценки рассматриваемой проблемы. Например, на вопрос: «Сколько бы вы заплатили за объект физической защиты, предохраняющий ваш организм от вредных физических полей, приводящих к потере здоровья?»
респондент скорее будет отвечать сколько он заплатил бы за что-то
,
что предохранит его здоровье. Более правильный вопрос: «Сколько
бы вы заплатили за объект физической защиты, предохраняющий ваш
организм от воздействий физических полей?».
12.
Формулировка вопроса не должна склонять респондента к
ответу, желаемому для исследователя.
109
13. Нельзя в закрытом вопросе излагать неполный перечень воз-
можных ответов, один из которых для большинства респондентов заведомо является неприемлемым.
14.
Нельзя ставить лишних вопросов, без которых можно обой-
тись.
15.
Постоянно задавайте себе вопрос: «Имеет ли респондент
данные, необходимые для ответа на поставленные вопросы?».
16.
Вначале следует задавать вопросы, с помощью которых
можно определить уровень компетенции респондентов в области
проводимого исследования. Следующие вопросы служат целям «разминки» респондентов. Эти вопросы должны являться относительно
простыми и легкими для ответов; они должны заинтересовать опрашиваемых, показать им, что они легко справятся с ответами. За разминочными вопросами следуют
переходные вопросы, предшествующие серии основных вопросов. Переходные вопросы служат целям
определения, какие вопросы следует задать далее.
17.
Наиболее трудные вопросы, требующие для ответа использо-
вания специальных шкал и достаточных затрат умственных усилий,
рекомендуется ставить в середине или ближе к концу анкеты. Если
респондент дошел до данной части вопросника, то он отвечает и на
оставшиеся вопросы. Интервьюеры при проведении устного опроса в
этом месте говорят, что интервью вступило в
18.
В конце вопросника приводятся классификационные вопро-
завершающую стадию.
сы, постановка которых в его начале, вследствие их персонального
характера, может вызвать у респондента желание прекратить ответы
на вопросы.
19.
Целесообразно включать контрольные вопросы, с помощью
которых уточняют, дополняют сведения, полученные в основных вопросах.
20.
Основной и контрольные вопросы должны быть размещены
так, чтобы респондент не улавливал прямой связи между ними.
21.
Контроль правильности ответов должен осуществляться пу-
тем помещения в анкету косвенных вопросов, которые контролируют
ответы на прямой. Косвенный вопрос должен предшествовать прямому, основному вопросу.
22.
Одни и те же вопросы, расположенные в разной последова-
тельности, дадут разную информацию.
110
23. Частные вопросы следует ставить первыми, обобщающие – в
конце соответствующего блока вопросов.
Существует два специальных подхода к проектированию во-
просников: туннельный и секционный.
Туннельный подход обусловливает переход от широких, общих
вопросов к узким, частным вопросам. Общие вопросы служат целям
«разминки», а также, если это требуется, могут носить переходный
характер.
Секционный подход заключается в том, что последовательно
рассматриваются вопросы по отдельным темам, до их полного исчерпания. Переход к следующей теме начинается с некоторой вступительной фразы. Смысловые блоки опросного листа должны быть
примерно одного объема. Доминирование какого-то блока неизбежно
сказывается на качестве ответов по другим смысловым блокам, которые респондент
рассматривает как менее важные.
Финальной стадией разработки вопросника является кодирова-
ние вопросов с целью ввода данных в компьютер после их сбора.
При составлении вопросника к нему должны быть заданы сле-
дующее вопросы:
1.
Выдержаны ли требования к языку опрашиваемого, не полу-
чилось ли так, что для части респондентов язык слишком труден, для
другой, наоборот, примитивен?
2.
Все ли вопросы и варианты ответов понятны?
3. Понятны ли респонденту единицы измерения, имеющиеся в
анкете?
4.
Компетентны ли опрашиваемые для ответов на вопросы, не
следует ли включать «фильтры» на компетентность?
5.
Нет ли опасности получения «угодных» или стереотипных
ответов?
6.
Не слишком ли многочисленны варианты ответов на вопро-
сы, смогут ли респонденты справиться с обилием вариантов, как сократить их число или как расчленить их по блокам?
7.
Нет ли опасений вызвать недоверие или какие-нибудь отри-
цательные эмоции у опрашиваемых?
8.
Не слишком ли задевается самолюбие или интимные стороны
жизни респондентов?
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]