6. ЭКОНОМЕТРИЧЕСКИЕ МЕТОДЫ ПРОВЕДЕНИЯ ЭКСПЕРТНЫХ ИССЛЕДОВАНИЙ

И АНАЛИЗА ОЦЕНОК ЭКСПЕРТОВ

6.1. Общая характеристика метода экспертных оценок

В настоящее время в экономике при обработке результатов эконо- Сметрического исследования широкое применение нашел метод экспертных оценок, применяемый в тех областях экономических знаний, где невозможно провести оценку характеристик объекта каким-либо способом.

Метод экспертных оценок как научный инструмент анализа может применятьсяидля решен я самых различных задач, связанных с планированием развития эконом ки страны и отрасли, созданием современных информационных технолог й.

Под методом экспертных оценок понимается комплекс логических и математ ческбАх процедур, направленных на получение информации, ее анализ обобщен е с целью подготовки и выбора рационального решения

[5, 6, 7].

Сущность метода заключается в проведении специалистами интуи- тивно-лог ческого анал за про лемы с качественной и количественной оценкой суждений и формальной о работкой результатов. В процессе решения вопросов эксперты выполняют роль генератора идей, событий и явлений.

Метод экспертных оценок основан на научной организации всех этапов экспертизы и применения математическогоДаппарата при организации экспертизы, обработке и анализе полученной информации.

Экспертные оценки давно используются для выбора варианта действий, в том числе и в экономической практике. Интерес к применению экспертного оценивания значительно возрос во второй половине прошлого века. Это было обусловлено рядом причин, в частностиИ, усложнением со- циально-экономической жизни, стремительным развитием инноваций. Важную роль в развитии методов экспертного оценивания сыграло развитие современных информационных технологий, например компьютерного моделирования. Это позволило оперативно собирать, систематизировать, обрабатывать полученную от экспертов информацию, опираясь на совокупный опыт проведенных в этой области работ и создание новых программных продуктов.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают не-

53

умение квалифицированно оценивать те или иные действия, явления, перспективы развития.

Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения.

Однако в связи с ограниченными возможностями применения в отдельных случаях экономико-математических методов, отсутствием статистической другой нформации, а также надежных методов определения соответств я математ ческих моделей реальным объектам экспертные оценки являются ед нственным средством решения многих задач.

методический субъективизм, зависимость результатов от компетентности

При решении вопросов, относящихся к первому классу, целесообразно привлекать нескольких специалистов, т.е. организовать групповую экспертизу. Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта. К ее преимуществам можно отнести возможности одностороннего анализа, пробелы, увеличение числа экспертов позволит придать экспертизе более объективный характер.

54

К недостаткам групповой экспертизы можно отнести сложность процедуры получения информации, сложность формирования группового мнения, возможность проявления эффекта коллективной ответственности.

На начальном этапе при постановке задачи исследования обосновывается целесообразность получения экспертной информации и намечаются пути использования ожидаемых результатов. Выбор метода получения и обработки экспертной информации решается в соответствии со спецификой поставленной задачи, объемом ресурсов, времени. При формировании экспертной группы учитываются цели экспертизы, ограниченность ресурсов требован я, обусловленные выбранными методами получения

оценок, характер ст к экспертов. При поиске экспертов используются общепринятыебдокументальные показатели, отражающие профессиональный уровень спец ал ста (должность, ученое звание, ученая степень, количество опубл кованных ра от и т.д.).

При подборе экспертов нео ходимо руководствоваться следующими требован ями: А

компетентность – степень квалификации экспертов в определенной области знаний, которая оценивается путем анализа предыдущей деятельности, пониманием перспектив и проблем развития;

креативность – спосо ность решать творческие задачи;конструктивность мышленияД– способность формировать реше-

ния, обладающие свойством практичности [5, 6].

Состав экспертной группы должен быть таким, чтобы обеспечить равное представительство специалистов различных направлений, существующих в исследуемой области, и охват всех организаций, имеющих профессиональное отношение к рассматриваемой задачеИ. ля предварительной оценки компетентности экспертов рассчитывается коэффициент их компетентности, представляющий сумму баллов, приписываемых эксперту в зависимости от его документальных показателей и данных самооценки. При другом подходе коэффициент компетентности рассчитывается на основе матрицы, составленной по результатам взаимной оценки экспертов.

6.2. Классификация методов получения экспертной информации

Экспертные методы – методы, основанные на использовании экспертов в качестве основных источников информации относительно исследуемого объекта. Сущность экспертных методов состоит в проведении экспертами интуитивно-логического анализа проблемы с качественной

55

или количественной оценкой суждений и последующей формальной обработкой данных. Экспертные методы применяются:

в исследовании объектов, функционирование которых не поддается описанию с помощью формальных методов;

в условиях полной и достоверной информации;в условиях высокой неопределенности внешней среды;при прогнозировании ситуации.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивиду-

Методы коллективной работыДэкспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество данных методов заключается в возможности разностороннего анализа проблем. Недостатками является

сложность процедуры получения информации,Исложность формирования группового мнения по индивидуальным суждениям экспертов, возмож-

ность давления авторитетов в группе [8, 9, 11].

Метод мозговой атаки. Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Данный метод основан на предположении, что если выдвигать большое количество идей и предположений по решению поставленной проблемы, то среди них окажется одна или несколько ценных. Затем из этих идей отбираются наиболее ценные. Метод мозговой атаки целесооб-

56

разно использовать в критических ситуациях дефицита творческих решений.

Достоинство метода мозговой атаки – высокая оперативность получения требуемого решения. Основной недостаток его – сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод сценариев представляет собой совокупность правил по изложению в п сьменном в де предложений специалистов по решаемой про-

отнести ДеловыебАгры основаны на моделировании функционирования соци-

альной с стемы управления при выполнении операций, направленных на достижен е поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловыхДигр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации [1, 2, 9].

Метод совещаний (комиссий, круглого столаИ) – самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода мозговой атаки каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения. Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод суда является разновидностью метода совещаний и реализуется по аналогии с ведением судебного процесса. В роли «подсудимых» выступают выбираемые варианты решения; в роли «судей» – лица, при-

57

нимающие решение; в роли «прокуроров» и «защитников» – члены экспертной группы. Роль «свидетелей» выполняют различные условия выбора и доводы экспертов. При ведении такого «судебного процесса» отклоняются или принимаются те или иные решения. Метод суда целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опраш ваемых незав симо друг от друга, с последующей обработкой полученных данных. Основные преимущества метода индивидуального экспертного оцен ван я состоят в их оперативности, возможности в пол-

собойавторитетовпроцедуру анкетного опроса. При этом соблюдается требование отсутствия л чных контактов между экспертами и обеспечения их полной информац ей по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

ПроцедурабАметода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором этапе вся информация сообщается экспертам и их просят пересмотреть оценки и объяснить причины своего несо-

Метод «Дельфи», ли метод «дельфийского оракула», представляет

гласия с коллективным суждениемД. Новые оценки вновь обрабатываются и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность эксперт-

Метод интервью предполагает беседу руководителя экспертизы с экспертом, в ходе которой перед ним по заранее разработанной программе ставятся сформулированные вопросы. Особенностью метода интервью является то, что руководитель и эксперт находятся в непосредственном контакте.

58

Условно выделяют три формы интервью: свободная беседа, когда дополнительные вопросы формируются в ходе интервью; беседа по типу «вопрос – ответ», когда определен ограниченный круг вопросов и на них необходимо дать чёткий ответ; перекрестный опрос, когда эксперта спрашивают несколько исследователей.

Достоинством метода интервью является возможность получить сведения, малодоступные анкетному опросу. Однако на результаты опроса может оказать влияние личность руководителя, способность эксперта к

СМетод экспертного опроса заключается в том, что эксперту предлагается для заполнен я специальная анкета, содержащая заранее составленный набор вопросов. В процессе заполнения анкет необходимо выполнить следующ е тре ования: о еспечить взаимную независимость сужде-

контакту, быстрота его мышления и другие факторы.

ний экспертов; при нео ходимости проверить однозначное понимание

большого независимость сужден Ай экспертов. К недостаткам следует отнести слож-

экспертами вопросов анкеты; не допускать заполнение одной анкеты не-

ность разработки эффективной анкеты, содержащей обоснованный перечень вопросов [5, 8].

6.3. Методы о ра отки и анализа экспертных оценок

На базе оценок экспертов получаетсяДобобщенная информация об исследуемом объекте и формируется решение, которое является целью экспертизы. При анализе мнений экспертов применяют статистические методы. В зависимости от целей экспертного оценивания при обработке результатов опроса решают следующие основныеИзадачи:

определение согласованности мнений экспертов;построение обобщенной оценки объектов;

определение зависимости между суждениями экспертов;определение относительных весов объектов;оценка надежности результатов экспертизы.

Определение согласованности оценок экспертов необходимо для подтверждения правильности гипотезы о том, что эксперты являются достаточно точными измерителями, и для выявления возможных группировок в экспертной группе. Оценка согласованности мнений экспертов производится путем вычисления количественной меры, характеризующей степень близости индивидуальных мнений. Анализ значений меры согласованности способствует выработке правильного суждения об общем

59

уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов, обусловленных различием взглядов, концепций, существованием научных школ, характером профессиональной деятельности и т.п.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины, например (Ме), под которой понимается такая оценка, по отношению к которой число больших оценок равняется числу меньших. Помимо этого может использоваться точечная оценка для

Наиболее простой характеристикой меры разбросаИэкспертных оценок является вариационный размах или размах распределения (R), который характеризует абсолютную разницу между максимальным и минимальным значением признака (в данном случае оценки эксперта) в изучаемой совокупности:

60

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Если эксперты производили оценку объектов в количественной шкале, то задача построения групповой оценки заключается в определении среднего значения или медианы оценки. При измерении в порядковой шкале методом ранжирования или парного сравнения целью обработки индивидуальных оценок экспертов является построение обобщенного упорядочения объектов на основе осреднения оценок экспертов [7, 10].

Обработкой результатов экспертного оценивания можно определять

ВеличинабАможет изменяться от – 1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента –1 наблюдается при наибольшем расхождении во мнениях экспертов.

где – разница между рангами, присвоенными i-му объекту.

Расчет данного коэффициента применяется как способ оценки взаимоотношений между каким-либо фактором и результативным признаком в

позволяет установить степень согласованности мнений экспертов по всем расцениваемым объектам, т.е. определить согласованность в ранжировании большего числа экспертов [4, 9]:

= ( × ). (63)

Коэффициент конкордации изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение к нулю, тем менее согласованными являются оценки экспертов.

61

62