книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки
.pdfТаблица 11 Оценка относительной важности сценариев
Предлагаемая |
Вероятность |
Последствия |
Относительная |
того, что дан |
|||
ситуация |
ная ситуация |
(в случае, если |
важность |
(сценарий) |
возникнет |
этв пропзойдет) |
сценария |
I |
0,4 |
8 |
3,2 |
11 |
0,4 |
5 |
2,0 |
I I I |
0,2 |
9 |
1,8 |
При подготовке сценариев и экспертизы большое зна чение имеет тщательная отработка процедуры опроса специалистов, к описанию особенностей которой мы и переходим.
Уменье |
ставить разумные |
вопросы есть уже |
важный и |
|||
необходимый |
признак ума |
или |
проницательности. |
|||
|
|
|
|
|
|
I I . Кант |
Анкетирование |
и опрос |
экспертов |
|
|
||
Ученые подсчитали, |
что |
каждый |
нормальный |
ребенок |
в среднем задает окружающим около 300 вопросов в день. И, что греха таить, очень часто мы, взрослые, отвечаем на эти вопросы по принципу «на любой вопрос — любой ответ». Если критически проанализировать наши ответы на некоторые вопросы, которые задают нам не только дети, то следует признаться, что нечто подобное бывает в случаях, когда приходитоя отвечать на нечетко сформу лированный или бессмысленный вопрос.
Иммануил Кант писал, что если вопрос сам по себе бессмыслен и требует бесполезных ответов, то кроме стыда для вопрошающего он имеет иногда еще тот недо статок, что побуждает неосмотрительного слушателя к не лепым ответам и создает смешное зрелище: один (по вы ражению древних) доит козла, а другой держит под ним решето 7 .
Так, знакомясь с материалами многих зарубежных опросов, можно убедиться, что, выполняя социальный
'"И. Кант. Сочинения, т. 3. M . , 1964, стр. 159.
НО
заказ правящих кругов, буря^уазные ученые зачастую организуют и направляют опросы таким образом, чтобы получить желательные и явно нереальные резуль таты.
Влияние характера и направленности процедуры опроса на получаемые результаты следует учитывать при организации экспертиз и разработке опросных листов (анкет), с помощью которых осуществляется сбор необхо димой информации.
Анкета в экспертных методах — это определенным, образом организованный набор вопросов, ответы на кото- < рые рассматриваются как информация о степени уверен-1 v
ности |
эксперта |
в |
вероятности |
свершения |
события или \ |
|||
в относительной важности оцениваемого свойства. |
\ |
|||||||
Необходимость четкой и осмысленной формулировки |
|
|||||||
всевозможных анкет и вопросников, получивших |
широкое |
|
||||||
распространение в последние годы, стало особенно важ |
|
|||||||
ной сегодня, когда анкетирование применяется в социо |
|
|||||||
логии, психологии, прогнозировании и находит все боль |
|
|||||||
шее распространение в управлении научно-техническим |
|
|||||||
прогрессом и экономикой. Поскольку экспертные методы |
|
|||||||
также в значительной степени основаны на применении |
|
|||||||
анкетирования, |
орханизации . этой__дроцедуры |
следует |
|
|||||
уделять |
большое, внимание. |
|
|
|
|
|||
Наиболее широко используемый тип опроса требует' |
||||||||
высказывания мнения с учетом определенной количествен |
|
|||||||
ной оценки для каждого из возможных ответов. Эксперта |
|
|||||||
спрашивают, действительно ли он согласен с заранее |
|
|||||||
подготовленным ответом, или же предлагают ему отме |
|
|||||||
тить свое мнение на шкале, состоящей из нескольких |
|
|||||||
пунктов. Используются также и анкеты с так называемыми |
|
|||||||
открытыми вопросами, где эксперт выражает свое соб |
|
|||||||
ственное мнение по любому из них и оценивает его, на |
|
|||||||
пример, по шкале в диапазоне от 0 до 10 баллов. |
|
|||||||
По своему характеру вопросы, вШ1б^ёмыеПв"ан1{еты, |
|
|||||||
могут |
быть разделены на следующие типы: |
|
|
|||||
1) |
вопрос, ответ |
на который |
заключаетсяТв~выборе |
/ |
||||
одного из нескольких точно сформулированных |
мнений. |
|||||||
Каждому из мнений может быть |
приписан |
определенный |
|
|||||
балл; |
|
|
|
|
|
|
|
|
~—2) вопрос о поведении эксперта в конкретной ситуа |
|
|||||||
ции. Ответы фиксируют наличие или отсутствие опреде |
|
|||||||
ленного |
действия; |
|
|
|
|
|
111
3)вопрос, требующий оценить численное значение или вероятность какой-либо величины;
4)вопрос, цель которого замаскирована относительно измеряемой качественной переменной. Измерение за
ключается в системе оценок, производимых аналитиками в зависимости от ответов, данных экспертами.
Опрос может проводиться заочно, когда личный кон такт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется при личной беседе с экспертом. . Преимуществами заочного опроса является его относительная простота и дешевизна; однако здесь возможны случаи неправильного заполнения анкет. При личной беседе этот недостаток исключается, но тре буются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может созна тельно или бессознательно влиять на ответы эксперта.
При заполнении анкет определенную роль играет порядок постановки вопросов и их фразеологическая формулировка. Вопросы не должны допускать двойного толкования или стремления заставить эксперта выразить свое мнение в области, где он недостаточно компетентен. Мера конкретизации вопросов должна учитывать реаль ную возможность эксперта дать правильный ответ. Излишняя конкретизация создает иллюзию точности, тогда как в самом деле она подготавливает почву для по лучения заведомо неверных ответов. ^Установлено, что
.сначала лучше тр_ебовать ответ на наиболее сложные и общие вопросы, а затем постепенно переходить к более пр_рстым ичастным. При этом не следует формулировать вопросы так, чтобы обеспечить ответы, гарантирующие «единодушие» экспертов.
Набор вопросов в анкете должен нметь логическую связь, однако эксперт может менять некоторые из них, если они не учитывают все важные, с его точки зрения, критерии. Кроме ясности и точности вопросов требуется, чтобы каждый из них «работал» на выяснение всей про блемы в целом.
В ряде методик экспертных оценок предусматривается проведение нескольких туров опроса. Это позволяет экспертам «взвесить» свои суждения с учетом ответов и доводов коллег и дополнительной информации, которая не была учтена в предыдущем туре. Выяснение причин, пусть даже недостаточно обоснованных, но послуживших
112
базой для суждений, приводит иногда к пересмотру от дельных оценок.
Для установления скрытых причин возникновения того или иного суждения в некоторых случаях в анкеты включается ряд дополнительных вопросов, которые по ясняют доводы, позволяющие экспертам давать опреде ленные оценки ответам на основные вопросы.
Для анализа обоснованности ответов можно предло жить эксперту специальную таблицу, в которой он дол жен отметить источники аргументации, послужившие основанием для ответа и оценки. Отметка делается в одной из трех граф в зависимости от степени влияния (высокая, средняя, низкая) каждого источника на мнение эксперта.
Пример |
такой |
таблицы |
приводится |
ниже 8 . |
|
|
|
|
|
|
|
|
Таблица 12 |
|
|
|
Самооценка степени влияния источника аргументации |
|||
|
|
|
|
Степень влияния источника |
||
|
|
|
|
на мнение эксперта |
|
|
Источник |
аргументации |
высокая |
средняя |
низкая |
||
|
|
|
|
|||
Проведенный |
теоретический |
* |
|
|
||
|
|
|
|
|
|
|
Производственный |
опыт . . |
* |
|
|
||
Обобщение |
работ |
отечествен- |
|
* |
|
|
Обобщеппе |
работ |
зарубеж- |
|
|
||
|
|
|
||||
|
|
|
|
|
|
* |
Личное знакомство с состоя |
|
|
|
|||
нием дел за рубежом . . |
|
* |
* |
|||
|
|
|
|
|
|
|
Заполненная экспертом таблица в данном случае |
||||||
означает, что на его мнение по соответствующему |
вопросу |
в высокой степени повлияли проведенный им ранее тео ретический анализ и личный производственный опыт, в средней степени — обобщение работ отечественных авто ров, а также личная интуиция и в малой степени — обоб щение работ зарубежных авторов и его личное знакомство
с состоянием дел за рубежом. Все эти оценки могут |
быть |
' Г. М. Доброп. Прогнозирование науки и техники. М. 1968 ,стр. 131. |
|
8 С. Д. Бешвлев, Ф. Г. Гурвич |
113 |
переведены аналитиками в количественную форму путем присвоения каждой из них определенного балла.
Ответы экспертов, получаемые в результате опроса,
изучаются аналитиками |
в двух |
основных аспектах: |
||
1) |
анализируется подход к |
решению |
проблемы; |
|
2) |
полученные ответы |
переводятся в |
количественную |
форму.
Внимательный анализ аргументов, выдвинутых экспер тами, позволяет избежать двух постоянно грозящих аналитикам крайностей: излишнего доверия к индивиду альным суждениям авторитетов, с одной стороны, и слепого следования за обезличенным статистическим боль шинством — с другой.
В зависимости от специфики рассматриваемой области подход к суждениям должен изменяться. Так, при ана лизе н^р^пектив развития фундаментальных наук наи больший вес бy_g^^^шJ;Z^я^^RY^ЦP^Ш~-• суждения кдупных^ученых, и, наоборот, при^аналпзе программ разработок и раз_витая__прои_зво.дства особое внимание сле дует уделять - преобладающим взглядам_специалистов и администраторов.
Одним пз интересных подходов к опросу и обобщению оценок, данных экспертами, является метод Дельфы, получивший свое название от города Дельфы и дельфий ских мудрецов, о которых мы упоминали вначале. Цель метода — составление тщательно скорректированной про граммы последовательных индивидуальных опросов, на правленной на уменьшение группового влияния, воз никающего при совместной работе специалистов °.
Основные принципы, положенные в основу метода Дельфы, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов; при этом управляемая обратная связь уста навливается в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса. Обратная связь, регулируемая аналити ками, позволяет выявить преобладающие суждения спе циалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря
» т . Gordon, О. Helmer. Report on a Long-Range Forecasting Study. Re port P-2982. The RAND Corp., Sept. 1964.
114
на сближение точек зрения, различие будет существовать и в конце опроса.
Полагают, что благодаря письменной форме опроса экспертов снижается влияние таких факторов, как вну шение или приспособление к мнению большинства.'
Опрос производится в несколько туров. Во время каждого тура эксперты должны сообщить свое мнение и дать оценку ряда величин, например указать сроки свершения некоторых событий (изобретений, открытий, технических достижений), которые должны, по их мне нию, осуществиться в течение прогнозируемого периода.
После очередного тура опроса производится обработка информации, полученной от экспертов. При этом за пока затель группового мнения принимается медиана, а за показатель согласованности мнений — диапазон кварти лей, которые хорошо характеризуют совокупность полу ченной информации.
Предположим, что от экспертов • получено какое-либо число оценок исследуемой величины, например 11. Прежде всего эти оценки нужно расположить в порядке их убы вания. Затем необходимо найти медиану. В нашем при мере с 11 оценками она будет совпадать, как показано на рис. 8, с оценкой Na. Далее нужно установить значения верхнего и нижнего квартилей Q1 и Q2. Медиана и квар тили на оси ряда образуют четыре интервала, среди кото
рых два средних (QXM |
и Q2M) |
считаются |
наиболее пред |
|||||
почтительными.' |
|
|
|
|
|
|
|
|
|
Л'| |
Л 2 |
N3 |
Hi Ns |
Л'6 |
Л'7 |
Ns |
Л'94-10Л-„ |
|
1 |
1 |
1 |
L _ J |
I |
I |
I I I I i |
|
|
|
|
Pi |
|
m |
|
|
P 2 |
|
|
|
|
Pne. 8. Медианы п квартили |
||||
Экспертов, чьи оценки не лежат внутри диапазона |
||||||||
квартилей |
(?2 ), просят обосновать причины |
расхожде |
ния суждений и сообщить свое мнение по поводу совер шенства постановки вопросов. С их обоснованиями и вы водами, не указывая от кого они получены, знакомят остальных экспертов.
Подобная процедура позволяет специалистам изменить в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить
8* 115
плп которыми пренебрегли в первом туре опроса. Бла годаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.
После получения оценок второго тура вновь произво дится процедура их упорядочения и снова рассчитываются медиана п квартили. По результатам расчетов аналитики подготавливают документ, в котором указываются (ано нимно) основные причины изменений оценок, происшедших во втором туре. В третьем и четвертом турах все повто ряется в той же последовательности, а медиана ответов последнего тура принимается за обобщенное мнение.
Метод Дельфы позволяет получить более надежные оценки группового мнения, чем в случае простого их усреднения. К недостаткам метода следует отнести то, что взаимовлияние экспертов здесь полностью не исклю чено, так же как не исключено и влияние «общественного» мнения на каждого из экспертов. Кроме того, существует
значительная |
зависимость оценок, данных |
экспертами, |
|
от точности |
формулирования вопросов |
и аргументации. |
|
С помощью метода Дельфы производилась |
самооценка |
||
экспертов для того, чтобы определить их |
осведомленность, |
компетентность в анализируемой области и сформировать группы из «сходных» по этим факторам специалистов. Такая процедура позволила установить, что при аноним ном опросе происходит частичная потеря информации, которая может быть восстановлена лишь при личной встрече аналитпков с экспертами.
В заключение следует отметить, что проблемы надеж ного опроса экспертов пока еще полностью не решены. Основные направления, по которым должна идти работа по совершенствованию методологии опроса, заключаются в разработке различных методов самооценки экспертов, обеспечивающих улучшение системы их "отбора, в иссле довании зависимости мнений экспертов от различных форм обратной связи и в разработке приемов формулирования дополнительных вопросов для систематического выявле ния скрытых причин, воздействующих на мнение эксперта. "Наличие многочисленных факторов, которые могут оказать влияние на отклонение оценок, заставляет уделять про блеме надежности экспертиз особое внимание. Повышение достоверности экспертных методов является непременным условием применения их в планировании и управлении на родным хозяйством.
На аналиа |
систем |
следует |
смотреть |
не как на |
антитезу |
||
суждений, |
а как |
на рамки, |
|
которые |
позволяют |
|
исполь |
зовать суждения |
экспертов |
по многочисленным |
разделам |
||||
области, чтобы получить результаты, |
которые |
|
выходят |
||||
за пределы |
любого |
отдельного |
суждения. |
|
|
||
|
|
|
|
|
|
Ч. |
Хитч |
|
|
|
|
американский специалист |
|||
|
|
|
|
по системному |
анализу |
Методы упорядочения
.Идея включения вероятностных оценок в расчеты ставит перед принимающим решение ряд трудностей. Прежде всего ясно, что оперировать «твердыми» оценками зна чительно легче и вообще определенность и конкретность в любом деле всегда приятней, чем неопределениость. Некоторое облегчение в таких случаях оказывает раз работка моделей, помогающих пренебречь малозначащими факторами и оперировать лишь теми, которые измеряются или являются наиболее «ощутимыми». Однако не исклю чено, что, упрощая действительность, мы можем «вы плеснуть из корыта вместе с водой и ребенка».
В ряде случаев стремятся к определенности только потому, что не знают, как учесть при принятии решения возможный риск. Иногда «быть определенным» заставляют причины чисто психологического порядка: решительность и твердость всегда считались положительными качествами человека. Но как( бы там ни было, игнорировать неопре деленность нельзя, и мы вынуждены ее учитывать при подготовке прогнозов и разработке долгосрочных планов.
Как мы отмечали, в экспертных методах вероятностная математическая модель формируется на основе оценок, характеризующих предполагаемое распределение иско мой величины. Принимается, что, с точки зрения эк сперта, распределение представляет собой непрерывную функцию, характер которой можно установить, применяя специальные критерии. Часто определить характер функ ции не удается, что затрудняет использование вероятност ных методов.
В таких случаях пытаются оценить информацию, ко торая по тем или дным причинам не поддается непосред ственному измерению, с помощью методов, отражающих
117
предпочтения экспертов. Предполагается, что эксперт обладает определенной оистемой предпочтений, если он в состоянии сравнить возможные варианты или факторы, приписав каждому из них число.
В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации. Чаще всего экспертные оценки качественных и трудноизмеримых признаков воспринимаются как измеренные по порядко вой шкале, и для их математической обработки приме няются методы упорядочения.
Использование порядковых шкал позволяет различать объекты и тогда, когда мы не знаем признаков сравнения.
Методы упорядочения могут быть применены в сле дующих случаях.
1. Когда из общего числа альтернатив или каких-либо характерных признаков (факторов) необходимо выделить наиболее важные.
В практике выбора альтернатив нередко случается, что одна из них превосходит другие по одному из пока зателей, в то время как другая лучше остальных по ка кому-то другому показателю. Бывает, что эти показатели качественно различны или их нельзя соизмерить. В таких случаях выбирается какой-либо один (или несколько) важный или значимый показатель, на основе которого и производится выбор наиболее предпочтительной альтер нативы.
2. Когда нужно сравнить некоторые количественные факторы, точные измерения которых связаны со значи тельными трудностями.
Некоторые трудности такого рода мы уже называли. Кроме этого, в практической деятельности иногда воз никает необходимость давать на сложные вопросы не-1 медленный ответ, для точного обоснования которого по требуется много времени, а возможно, и значительные затраты ресурсов. Упорядочение альтернатив или факто ров при решении сложных задач может служить способом, позволяющим в короткие сроки получить приближенный ответ.
3. Когда необходимо оценить какие-либо качествен ные факторы, которые нельзя точно измерить, но можно сопоставить степень обладания каждого из них этим качеством.
118
Подобные случаи мы неоднократно упоминали. В по вседневной жизни мы часто оцениваем такие факторы с помощью слов: «лучше», «ценнее», «полезнее», «краси вее», «талантливее» и т. д.
Наиболее распространенными методами упорядочения альтернатив (факторов) являются: 1) ранжирование; 2) не посредственная оценка; 3) последовательное сравнение и 4) парное сравнение.
Ранжирование — процедура установления относитель ной значимости (предпочтительности) исследуемых объек тов на основе их упорядочения. Ранг — это показатель, характеризующий порядковое место оцениваемого объекта или явления в группе других объектов (явлений), обла дающих существенными для оценки свойствами.. Обычно наиболее предпочтительному объекту присваивается пер вый ранг, а наименее предпочтительному — послед ний.
Точность и надежность ранжирования в значительной степени зависят от количества объектов. В принципе чем таких объектов меньше, тем выше их «различимость» с точки зрения эксперта и тем надежнее можно установить ранг объекта.
Итак, при ранжировании эксперт должен расположить объекты (факторы, альтернативы) в порядке, которыйпредставляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда: 1, 2, 3 и т. д.
Следовательно, порядковая шкала, получаемая в ре зультате ранжирования, должна удовлетворять условию равенства числа рангов числу ранжированных объек тов.
Бывает так, что эксперт не в состоянии указать поря док следования двух или нескольких объектов, либо ои разным.объектам присваивает один и тот же ранг, и в ре зультате число рангов N оказывается не равным числу ранжируемых объектов п. В таких случаях объектам при писываются так называемые стандартизированные ранги. С этой целью полагают общее число рангов равным п, а объектам, имеющим одинаковые ранги, присваивается стандартизированный ранг, значение которого представ ляет среднее суммы мест, поделенных между собой объек тами с одинаковыми рангами.
119