- •Содержание:
- •§1.2. Метод экспертных оценок
- •§1.3. Организация экспертного оценивания.
- •Глава 2
- •§2.1. Основные понятия
- •§ 2.2. Шкалы измерений
- •§ 2.3. Методы измерений .
- •Глава 3
- •§ 3.1. Проблемы подбора экспертов
- •§ 3.2. Характеристики экспертов
- •§ 3.3. Характеристики группы экспертов
- •§ 3.4. Организация процедуры подбора
- •Глава 4
- •§ 4.1. Содержание и виды опроса
- •§ 4.2. Анкетирование и интервьюирование
- •§ 4.3. Дискуссия
- •§ 4.4. Совещания
- •§ 4.5. Мозговой штурм
- •Глава 5
- •§ 5.1. Задачи обработки
- •§ 5.2. Групповая оценка объектов
- •§ 5.3. Оценка согласованности мнений экспертов
- •§ 5.4. Обработка парных сравнений объектов
- •§ 5.5. Определение взаимосвязи ранжировок
- •Глава 6
- •§6.1. Метод Дельфы
§ 3.4. Организация процедуры подбора
Работа по подбору экспертов возлагается на группу управления. От качества выполнения этой работы существенно зависят результаты экспертизы, поэтому она должна поручаться квалифицированным специалистам. Процедура подбора группы экспертов включает три этапа: определение количества экспертов; составление списка экспертов; получение согласия экспертов на участие в работе.
Для определения количества экспертовчлены группы управления выявляют области знаний, связанных с решаемой проблемой. На основе рассмотрения содержания проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяется минимальное и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы (например, в процентах). После определения минимального и максимального числа экспертов по каждой области суммированием определяется минимальное и максимальное число экспертов. Оценки снизу и сверху числа экспертов определяют соответственно нижнюю и верхнюю оценки достоверности экспертизы.
Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.
Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.
После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности.
Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.
После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.
Глава 4
ОПРОС ЭКСПЕРТОВ
§ 4.1. Содержание и виды опроса
Опрос — главный этап совместной работы группы управления и экспертов. Основным содержанием опроса является:
постановка задачи и предъявление вопросов экспертам;
информационное обеспечение работы экспертов;
выработка экспертами суждений, оценок, предложений;
сбор результатов работы экспертов.
Можно назвать три типа задач, которые решаются в процессе опроса [31]:
- оценка качественная или количественная заданных объектов;
- построение новых объектов;
- построение и оценка новых объектов.
При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.
Анкетирование может проводиться с обратной связью или без нее.
При анкетировании с обратной связью опрос экспертов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.
Главным в организации опроса является обеспечение максимума информации и максимума творческой активности, самостоятельности эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности.
Однако возможности эксперта по переработке информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении.
Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме.
Из этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.
Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой независимости я построении модели объекта экспертом. Разрешение этого противоречии в полной мере невозможно, и при каждой экспертизе се организаторы должны находить разумный компромисс прежде всего путем выбора вида опроса, формы и степени общения экспертов.
Каждый из видов опроса имеет сбои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются:
- цель и задачи экспертизы;
- существо и сложность анализируемой проблемы;
- полнота и достоверность исходной информации;
- требуемые объем и достоверность информации, получаемой в результате опроса;
- время, отведенное на опрос и экспертизу в целом;
- допустимая стоимость опроса и экспертизы в целом;
- количество экспертов и членов группы управления, их характеристики.
Проведем краткое сравнение достоинств и недостатков опросов в виде дискуссии и анкетирования.
Главными задачами экспертов как при дискуссии, так и при анкетировании являются в большинстве случаев сравнение и оценка некоторых объектов, факторов или вариантов действий (альтернатив) и выбор наиболее предпочтительных из них.
Дискуссию обычно целесообразно проводить на первом этапе изучения проблемы для выявления возможных путей ее решения. Основным достоинством анкетирования является возможность управления степенью общения экспертов с целью получения от них самостоятельных, продуманных суждений и количественных оценок.
Стоимость дискуссии и затрачиваемое время, как правило, меньше, чем при анкетировании, так как последнее требует большой и сложной работы по его подготовке, проведению и обработке результатов, а также предъявляет высокие и специфические требования к квалификации членов группы управления. Специфичность требовании заключается в том, что они или хотя бы некоторые из них кроме высокой подготовки по теме опроса должны иметь подготовку и опыт в проведении анкетирования и обработки его результатов.
Опасность конформизма экспертов при дискуссии больше, чем при анкетировании, так как возможности ограничения и регулирования общения экспертов гораздо меньше. В то же время снижение творческой активности того или другого эксперта при дискуссии легче обнаружить, чем при анкетировании, и само понятие авторитета имеет свои особенности. Ведущий дискуссию по возможности не должен быть связан причинами конформизма экспертов. Полная независимость ведущего невозможна, но одно из важных достоинств дискуссии в том и заключается, что в столкновении конкурирующих мнений, даже при отсутствии беспристрастного судьи-ведущего, стимулируется активное участие каждого эксперта, и его конформизм либо ослабевает, либо становится очевидным, а следовательно, и не столь опасным. Серьезная опасность для плодотворности дискуссии таится в возможности рождения авторитетов — «глушителей» творчества в ходе самой дискуссии. Таковыми часто оказываются наиболее активные, страстные и красноречивые ее участники, умеющие вязать логические цепи внешне убедительных построении. Эти качества не всегда сочетаются с искренностью, глубоким знанием предмета творческим потенциалом и правильным, с точки зрения' цели экспертизы, отношением к дискуссии. Однако даже и при таком счастливом сочетании лидеры вредны, если они подавляют индивидуальности других экспертов, ибо это подавление противоречит самой идее метода коллективных экспертных оценок. В то же время активность и страстность выступлении сами по себе полезны, так как стимулируют активность мышления, способствуют созданию атмосферы творческого соревнования.
В ходе дискуссии происходит согласование позиции экспертов, в результате чего вырабатывается единое мнение группы экспертов, фиксируемое как результат экспертизы.
Однако следует учитывать, что согласование позиций может быть выражением не только подлинного мнения всех экспертов, но в той или иной степени результатом давления, пусть не явно выраженного, ведущего или одного из экспертов. Кроме того, ведомственные и личные интересы экспертов, их Психологические особенности (склонность одних быстро менять позицию, упрямство других, нежелание открыто дебатировать) могут привести к тому, что единое мнение группы будет получено путем компромисса, а не как результат глубокого анализа проблемы в интересах ее наилучшего решения. Из этого следует, что группа в своих выводах может руководствоваться в значительной степени логикой компромисса, а не одной лишь логикой анализируемой проблемы. Как правило, это обстоятельство вредно, так как задачей экспертов является прежде всего всестороннее изучение проблемы, анализ информации с целью выработки возможно более объективных оценок, а не принятие решения компромиссного характера. Расхождения индивидуальных и групповых интересов участников дискуссии могут привести и к полной ее безрезультатности— к «семантическому крушению» группового взаимодействия по выражению некоторых зарубежных специалистов.
В то же время нельзя и абсолютизировать вред компромиссов, если задачей опроса являются рекомендации по выработке решения. Эти компромиссные рекомендации могут отражать объективно существующую расстановку сил, влияний, заинтересованность тех или иных сторон (ведомств, предприятий), без учета чего принятое оптимальное решение не удастся провести в жизнь.
Есть один недостаток опроса в виде дискуссии: как правило, в тени остается путь, по которому эксперты пришли к соглашению, так как ход дискуссии не всегда полностью фиксируется.
Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образам сочетать информационное обеспечение экспертов с их самостоятельным творчеством.
Широкие возможности регулирования и контроля общения экспертов позволяют свести к минимуму опасность конформизма. В то же время полной независимости экспертов при анкетировании добиться также невозможно.
Прежде всего на оценки эксперта даже при строгом соблюдении анонимности не могут не оказать влияния интересы его ведомства, организации, известные эксперту позиции авторитетных для него в том или ином смысле людей. Влияние на суждения эксперта оказывают и. составители анкет-вопросников. Сообщение, даже анонимное, эксперту оценок и аргументации других экспертов может привести к изменению экспертом своих оценок не в результате глубокого обдумывания, а из-за склонности избежать расхождении с большинством участников или с экспертами, аргументация которых показалась убедительной.