Исследование социально-экономических и политических процессов

141

наличию конкуренции;

наличию специалистов;

наличию местных источников сырья.

При этом перспективность каждой из стратегий должна быть оценена по шкале:

очень перспективно оценка в интервале [7–10];

перспективно оценка в интервале [4–7];

перспектива не ясна оценка в интервале [2–4];

не перспективно оценка в интервале [0–2]. Требуется определить количественные согласованные

оценки выбранных направлений развития и дать экономическую, производственную и коммерческую интерпретацию полученных результатов.

Другой пример, требующий привлечения экспертов-

специалистов, касается распределения ограниченного количества ресурсов на финансирование множества инвестиционных проектов. При этом каждый из проектов оценивается в следующей системе качественных критериев: практическая направленность, потенциал исполнителей, актуальность, обозримость, эффективность, комплексность, коммерческая направленность, научно-технический уровень, реализуемость. Требуется определить относительную важность (значимость) каждого из проектов в заданной системе оценочных критериев и с учетом этого разработать предложения по финансированию.

Разновидностью метода экспертных оценок является метод PATTERN [47], предназначенный для формирования долгосрочных стратегий научно-технического развития компании. Сущность метода заключается в оценке относительной важности каждого элемента декомпозиции (цели, мероприятия) для достижения вышестоящей цели (мероприятия). Оценка относительной важности может проводиться по нескольким критериям, сумма коэффициентов относительной важности мероприятия одного уровня для каждой подцели должна быть равна единице. Итоговая значимость некоторой цели (мероприятия) определяется коэффициентом связи, представляющим сумму произведений весов критериев на соответствующие коэффициенты важности. Общий коэффициент каждой подцели некоторого

142

уровня определяется путем перемножения соответствующих коэффициентов важности мероприятий, ветвящихся из данной вершины.

Способы организации экспертного оценивания, критерии оценки объектов могут существенно отличаться в зависимости от специфики рассматриваемой проблемы. Вместе с тем сама технология организации экспертного опроса и методы обработки достаточно упорядочены и формализованы.

На рис. 4.1 представлен один из возможных детализированных вариантов организации экспертного оценивания, состоящий из трех этапов:

1)организации работ по проведению экспертизы;

2)проведении экспертизы;

3)формирования экспертного заключения и ознакомления участников с результатами экспертного оценивания.

Начальный этап организации работ по проведению экспертного оценивания предполагает прежде всего создание конкурсной комиссии, основными обязанностями которой являются:

определение целей и задач экспертизы;

определение условий и сроков организации работ и представления документов;

подготовка необходимых организационнораспорядительных документов (приказа о проведении экспертизы, методики организации работ, объявления о конкурсе и т.д.);

организация приема и регистрации документов, описывающих объекты экспертизы;

выбор и обоснование системы критериев оценки объектов и их относительной важности;

формирование экспертной комиссии и организация ее работы.

144

Процедура проведения экспертизы может состоять из трех этапов:

1)предварительной экспертизы, проводимой конкурсной комиссией на предмет формального соблюдения правил представления материалов об объектах экспертизы;

2)основной экспертизы, проводимой экспертами в сроки и по технологии, согласованной с заказчиком;

3)повторной экспертизы, проводимой в том случае, если результирующий коэффициент согласованности экспертов не удовлетворяет заданному уровню достоверности оценок; при этом экспертам предлагается публично обсудить результаты и повторно провести экспертное оценивание, иначе конкурсная комиссия изменяет состав экспертов.

Экспертное заключение составляется на основе материалов, представленных экспертами, и результатов обработки экспертного оценивания проектов, содержит краткие сведения о представленных объектах экспертизы, краткие сведения об экспертах, сроки и порядок проведения экспертизы, результаты математической обработки, степень согласованности экспертов, выводы и рекомендации, приложения.

4.2Формирование экспертной комиссии

Существующие в настоящее время методы отбора экспертов далеки от совершенства и основаны скорее на соображениях здравого смысла, чем на строгих научных рекомендациях. Прежде всего, эксперт должен обладать высокой компетентностью, профессионально относиться к делу, быть независимым в своих суждениях, обладать определенным уровнем правовой защиты.

Формирование экспертной комиссии состоит из следующей последовательности этапов:

определения количественного состава экспертов;

разработки формальных и профессиональных требований к эксперту;

определения состава экспертной комиссии;

оформления договоров (трудовых соглашений) на проведение экспертизы;

определения степени компетентности каждого эксперта.

145

Количественно состав экспертов ограничивается финансовыми и временными ресурсами на проведение экспертизы, при этом, чем больше специалистов участвует в экспертной комиссии, тем больше вероятность получения точных групповых оценок относительной важности проектов.

Подбор количественного состава экспертов производится на основе анализа сложности проблемы, требуемой достоверности оценок, характеристик экспертов и наличия ресурсов. Сложность решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля, следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть при решении проблемы. Достоверность оценок группы экспертов зависит от уровня знаний отдельных экспертов и их количества. Если предположить, что эксперты являются достаточно точными измерителями, то с увеличением числа экспертов достоверность экспертизы всей группы возрастает. Затраты ресурсов на проведение экспертизы пропорциональны количеству экспертов. В [49] минимальное количество экспертов предлагается определить по формуле N 0,5 3/ 5 , где

0 1 – параметр, задающий минимальный уровень ошибки экспертизы. С увеличением числа экспертов увеличиваются временные и финансовые затраты, связанные с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экспертизы связано с увеличением затрат. Финансовые ресурсы ограничивают максимальное число экспертов в группе. Ограничение числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе.

Основные требования, предъявляемые к эксперту, можно сформулировать таким образом:

широкий кругозор и знание предметной области рассматриваемых проектов;

наличие научных трудов и практического опыта работы по проектированию и внедрению информационных технологий;

административная и экономическая независимость от организаций, представляющих проекты;

146

экономическая заинтересованность и юридическая ответственность эксперта за качество работы;

способность решать творческие задачи, независимость мышления.

Индивидуальные характеристики экспертов задаются с помощью коэффициента компетентности, который может быть определен как по априорным, так и по апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Метод самооценки состоит в том, что кандидату в эксперты дается анкета с перечнем вопросов, подлежащих решению экспертной комиссией, и предлагается оценить свои знания по этим вопросам в баллах. При этом вопросу, в котором данный специалист считает себя наиболее компетентным, предлагается присвоить высший балл (например, 10), а вопросу, в котором он меньше всего разбирается, – 1. Остальные вопросы оцениваются

всоответствии со степенью компетентности эксперта (по его самооценке).

Получив данные об индивидуальной самооценке, можно рассчитать среднюю групповую самооценку по каждому вопросу и выявить таким образом необходимость в изменении состава комиссии. Практика показывает, что методы самооценки недостаточно точны и могут быть использованы лишь на предварительном этапе отбора экспертов.

Наиболее простым методом определения компетентности при взаимной оценке экспертов является методика оценки относительных коэффициентов компетентности по результатам высказываний специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для уча-

148

ностью исходной информации, располагаемым временем и затратами на проведение опроса.

Дискуссия – вид экспертизы, широко применяемый на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников. В ходе дискуссии разрешается критика. Большую роль в дискуссии играет ведущий. От его умения создать творческую, благожелательную атмосферу, четко выступать с постановкой проблемы, кратко и глубоко резюмировать выступления и, главное, умело направлять ход дискуссии на решение проблемы существенно зависит эффективность обсуждения.

Обозначенные виды опроса дополняют друг друга и в определенной степени являются взаимозаменяемыми. Для генерации новых объектов (идей, событий, проблем, решений) целесообразно применять мозговой штурм, дискуссии, анкетирование и метод Дельфи (первые два тура).

Всесторонний критический анализ имеющегося перечня объектов сравнения эффективно может быть проведен в форме дискуссии. Для количественной и качественной оценки характеристик объектов применяется анкетирование и метод Дельфи. Интервьюирование целесообразно использовать для уточнения результатов, полученных другими видами экспертизы.

4.4 Формальные методы описания предпочтений объектов

При организации экспертизы специалистам, как правило, предлагается оценить (измерить) предпочтение некоторых альтернативных вариантов развития (состояния) рассматриваемой проблемы. В качестве объектов сравнения выступают основные элементы системного анализа: проблемные ситуации, цели, критерии, функции, структуры. Каждый из объектов может описываться (характеризоваться) набором качественных и количест-

149

венных параметров. Процедура сравнения заключается в определении отношений между объектами.

Для формального описания множества объектов и отношений между ними при фиксированных показателях сравнения вводится понятие эмпирической системы:

M X,R ,

шение называется бинарным (двухместным), поскольку оно связывает между собой два объекта.

Рассмотрим основные свойства бинарных отношений. Будем рассматривать объекты xi из множества X и некоторое би-

нарное отношение R . Если все объекты из множества X сравнимы между собой по этому отношению, то говорят, что отношение R является полным (совершенным, линейным). Если не все объекты сравнимы по отношению R , то оно называется неполным (несовершенным, нелинейным, частичным). Полное и неполное отношение R может иметь нижеперечисленные свойства:

Используя перечисленные свойства, определим отношения

эквивалентности, строгого порядка и нестрогого порядка. Отношение эквивалентности содержательно интерпре-

тируется как взаимозаменяемость, одинаковость объектов. Для обозначения отношения эквивалентности используется специальный символ «~». Запись вида xi ~ xj означает эквивалент-

150

ность объектов. Отношение эквивалентности порождает разбиение множества объектов на классы и является рефлективным, симметричным и транзитивным отношением. В каждый класс попадают эквивалентные, т.е. неразличимые по показателю (или группе показателей) объекты.

Отношение строгого порядка является антирефлективным и транзитивным отношением и может интерпретироваться как предпочтительность, в широком смысле, одного объекта по сравнению с другим объектом, например «важнее», «лучше», «выше», «больше» и т.д. Для обозначения отношения строгого порядка используется специальный символ «>», например, если объект xi строго предпочтительнее объекта xj , то это записы-

вается в виде xi xj . Отношение полного строгого порядка по-

рождает строгое упорядочение объектов по предпочтительности.

Отношение нестрогого порядка есть объединение отно-

шений строгого порядка и эквивалентности и обладает свойствами рефлективности, антисимметричности и транзитивности. В соответствии с этим для обозначения отношения нестрого порядка применяется символ « ». Запись xi xj означает, что

объект xi либо строго предпочтительнее, либо эквивалентен объекту xj ; другими словами, эта запись интерпретируется как

шение полного нестрогого порядка порождает строгое упорядочение классов эквивалентности объектов.

Описанные процедуры позволяют каждому эксперту задать свои индивидуальные предпочтения на множестве сравниваемых объектов

R1,R2,...,Rs,...,Rn .

При групповой экспертизе ставится задача о выработке некоторого нового отношения R, которое согласует индивидуальные выборы, выражает в каком-то смысле «общее мнение» и принимается за групповые выборы. Очевидно, что это отноше-