Механизм оптимизации и внедрения управленческих решений в организации. Учебное пособие

4)проведение опроса и согласование оценок;

5)формализация полученной информации, ее обработка, анализ

иинтерпретация.

Подготовку экспертизы начинают с постановки проблемы. На данном этапе важно распознать мнимые проблемы, чтобы не пойти по ложному пути. Для этого организаторы экспертизы выдвигают тезисы и аргументы в пользу (в защиту) проблемы и просят квалифицированных специалистов их опровергнуть. Это позволяет найти слабые места, возможные трудности, уточнить проблему и формулировку.

После обоснования проблемы проводится ее предварительный анализ, уточняются внешние и внутренние связи, определяются границы включаемого в рассмотрение материала. Для этого организаторы экспертизы формулируют центральный вопрос, составляющий суть проблемы, а затем «расщепляют» его на подвопросы. Если проблема сложна и многогранна, то намечаются последовательные этапы экспертизы.

Проделанная работа позволяет организаторам экспертизы приступить к формулировке ее целей и задач, например если цель прогноза – повысить эффективность использования технических средств, то прогноз ориентирован на потребителя. Если цель прогноза – производство технических средств, то прогноз ориентирован на производителя.

Разработка процедуры экспертизы.

В зависимости от целей и задач экспертизы подбирается состав экспертов и выбирается метод опроса; а именно: индивидуальный или групповой (т.е. коллективный), личный (очный) или заочный, устный или письменный.

При индивидуальной форме опроса к эксперту предъявляются повышенные требования. Ответы могут даваться оперативно в виде интервью или беседы по специально разработанной программе в свободной форме или в виде «аналитических» экспертных оценок.

Во втором случае эксперт может использовать различные материалы, проводить глубокий анализ, обдумывать ответ в течение длительного времени.

21

Из методов группового (коллективного) опроса широко используются 2 метода: метод комиссий и различные модификации метода «Дельфи».

Метод комиссий предполагает регулярные сборы экспертов для выработки общих взглядов на решение проблемы в ходе дискуссии. Здесь необходима психофизиологическая совместимость экспертов, обладающих независимостью суждений, способностью работать в коллективе. Разновидностью этого метода является «мозговая атака» или метод коллективной генерации идей. Этот метод запрещает критику «безумных» идей и дает возможность свободно высказывать свои мысли. Он наиболее перспективен при рассмотрении малоизученных проблем и поиска путей к их решению.

Метод «Дельфи», наиболее популярный, характеризуется следующими чертами:

–анонимностью экспертов, достигаемой с помощью специальных вопросников или другими способами индивидуального опроса;

–регулируемой обратной связью, которая осуществляется за счет проведения нескольких туров опроса;

–групповым ответом, который получается с помощью статистических методов и отражает общее мнение экспертов.

Достоинство метода «Дельфи» заключается в том, что он не сталкивает участников опроса напрямую.

Недостаток метода «Дельфи» в том, что он требует много времени на проведение.

В зависимости от характера требуемой информации, возможностей ее получения и интерпретации опрос может быть личным или заочным. Наиболее часто используемым документом в обоих случаях является анкета.

Анкета – это структурно-организованный набор вопросов каждый из которых логически связан с центральной задачей экспертизы.

Все вопросы в анкете в зависимости от их содержания можно подразделить на 3 группы:

1) данные о самом эксперте (возраст, должность, стаж, образование);

22

2)вопросы по существу проблемы;

3)вопросы, позволяющие оценить мотивы ответов эксперта.

По форме различают вопросы открытые, закрытые и полузакрытые, прямые и косвенные. Вопрос считается открытым, если ответ на него может быть дан в любой форме; закрытым – если имеется ряд готовых ответов, и эксперт должен выбрать один из них; полузакрытым – если кроме готовых ответов предусмотрена возможность дополнительных замечаний.

Прямые вопросы формулируются в личной форме; «Что Вы думаете о ... ?», «Каково Ваше мнение по поводу ... ?».

Косвенные вопросы формулируются в полубезличной форме: «Некоторые специалисты полагают, что ... А как думаете Вы?», «Ходят слухи …».

Различают 3 вида вопросов, по которым делается экспертная оценка (табл. 2).

Составленную анкету целесообразно сперва «обкатать» на условных экспертах. По ответам можно судить о следующем:

1)полное совпадение мнений экспертов – результат стандартной постановки вопроса;

2)многочисленные ответы «не понял», «не знаю» говорят о расплывчатости вопросов или их усложненности;

23

3)наличие большого числа замечаний – о неудачной формулировке, а также неполноте альтернатив в закрытых вопросах;

4)множество отказов – о плохой вводной части анкеты и о том, что в ней не обозначена цель или правила заполнения, отсутствует анонимность.

По результатам ответов анкета корректируется и осуществляется отбор экспертов.

Отбор экспертов.

Эксперт – это специалист, чье мнение, оценки и суждения лицо, принимающее решение, считает нужным учитывать при принятии решения.

Работу по отбору экспертов начинают с составления списка наиболее компетентных лиц в исследуемом вопросе, по отношению к которым применяют специальные методы оценки их качеств. В практике чаще всего используются 3 группы таких методов:

1)самооценка;

2)оценка группой каждого специалиста;

3)оценка по результатам прошлой деятельности.

Метод самооценки. Впервые в нашей стране этот метод был применен в начале 20-х годов С.Г. Струмилиным. Цель его работы состояла в том, чтобы определить уровень способностей ученых по 13 качествам: зрительная память, настойчивость, способность к аналитическому мышлению, сила воли и т.д.

Суть метода: получив анкету, кандидаты отвечают на ее вопросы

ипоказывают свою эрудицию, способность к анализу и т.д. Необходимо ответить на все вопросы за 6-17 минут и дать оценку своим знаниям по каждому вопросу по 5-балльной системе. По данной анкете каждому эксперту выводится средняя арифметическая групповая самооценка. Опыт показывает, что чем выше групповая самооценка, тем выше и качество предсказывания экспертом.

С помощью самооценок определяют компетентность кандидата в эксперты, а именно:

1)степень его знакомства с проблемой;

2)аргументы, на которые он опирается.

24

Степень знакомства с проблемой (К3) эксперт сам определяет по шкале от 0,1 до 1.

Предположим, он оценил К3 = 0,5.

Аргументы эксперта оцениваются через коэффициент аргументации КА по приведенной таблице (табл. 3).

При составлении табл. 3 учитывались следующие соображения: КА не должен превышать 1, значению КА = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации; КА = 0,8 – средняя степень влияния; КА = 0,5 – низкая степень влияния. Эксперт отметил (подчеркнул) все свои аргументы по источникам.

КА = 0,3+ 0,4+ 0,05+ 0,05+ 0,05+ 0,05 =0,9

Таким образом, коэффициент компетентности эксперта, опреде-

На основании данных оценок производят отбор экспертов.

Метод коллективной оценки (МКО) применяют в том случае, когда эксперты знают друг друга. Этот метод менее точен, чем метод самооценки. На практике используются эти два метода одновременно.

25

Суть метода коллективной оценки состоит в следующем. Каждому из кандидатов выдаются опросные листы на себя и других членов группы. На листе указывается фамилия заполняющего для самооценки. В листах содержится перечень наиболее существенных для эксперта черт, противоположных по значению. Например:

Все оценки выводятся обычно по укрупненным группам качеств: I – интеллектуальные качества (глубина знаний по специально-

сти, широта интересов, одаренность и т.д.).

II – деловые качества (умение организовать, заинтересовать и т.д.). III – импульсивно-волевые качества (сдержанность, эмоциональ-

ность, воля и т.д.).

IV – качества, характеризующие мотивы поведении (честолюбие, корысть, альтруизм, истина).

V – качества, характеризующие отношение к жизни (оптимизм, чувство юмора и т.д.).

Таким образом создается общий портрет каждого соискателя в эксперты. Теперь рассмотрим пример формирования экспертной группы.

Организаторы экспертизы обратились к нескольким специалистам с просьбой назвать 10 наиболее компетентных в той или иной сфере лиц. Они назвали друг друга и плюс еще несколько новых людей. Организаторы обратились и к этим новым, с предложением назвать 10 специалистов и т.д. Процедуру повторяют до тех пор, пока в ответах не будет содержаться до 90-95 % повторений. Итак, группа из 10 человек собрана, но в нее входят люди с разным авторитетом, и их суждения будут разными. Как это учесть? Допустим, из 10 опрошенных каждый называл 5 лучших, кроме себя. Рассмотрим матрицу взаимных оценок экспертов (условно) (табл. 4).

26

Нули по диагонали показывают, что никто себя не называл (хотя этим ограничением можно было бы и пренебречь). В предпоследнем столбце выставлена оценка каждому эксперту. Теперь пересчитаем данную таблицу и вместо «единичек» поставим набранные оценки. Получим уже новую матрицу взаимных оценок экспертов (табл. 5).

Оценки уточнились: с 3 места на 2, с 8 на 9 и т.д. Трех-четырех операций достаточно, чтобы получить нормальные результаты.

Таким образом, был проведен отбор экспертов с оценкой их авторитета.

27

Методы, основанные на оценке результатов прошлой деятельности, самые точные. Самый простейший метод основан на стаже работы кандидата, занимаемой должности и т. д. Но он часто дает не очень хорошие результаты, поэтому его целесообразно применять в сочетании с другими подходами. Например, если кандидат и раньше участвовал в качестве эксперта, то его можно оценить по следующей формуле:

как наиболее вероятную ту гипотезу, которая потом подтвердилась. Методы, основанные на прошлой деятельности, требуют

постоянно вести накопительную информацию о каждом кандидате. Какова должна быть численность группы экспертов? Если группа

маленькая, то и оценка (групповая) может быть невысокого качества, если она очень большая, то возникают трудности в обработке мнений, в согласовании позиции сторон.

На практике данную ситуацию решают одним из двух способов:

1)всю проблему, которую должны решить эксперты, разбивают на определенное число направлений и для каждого направления выбирают специалиста, таким образом, набирается минимально необходимое число экспертов;

2)используют специальные кривые, которые характеризуют зависимость между количеством экспертов и среднегрупповой ошибкой.

Итак, группа экспертов сформирована. Теперь рекомендуется провести с ней «тренировку». Для этого проводится «учебная» экспертиза, в которой участвуют несколько групп. Одна из групп – контрольная, состоит из лиц, многократно испытанных в экспертизах. Сравнение оценок каждого участника и каждой из групп позволит точнее установить относительную надежность экспертов, а также вы-

28

явить, нет ли у участников экспертизы целей, противоречащих целям экспертизы. И если выявились причины, которые могут повлиять на качество предсказания, то надо либо исключить из рассмотрения некоторые вопросы (или события), либо заменить экспертов. В процессе «тренировки» можно внести последние коррективы в состав и размер групп.

Проведение опроса и согласования оценок.

Итак, цели экспертизы определены, выбран метод опроса, отобраны эксперты. Начинается групповая экспертиза и возникает задача согласования оценок, полученных от экспертов.

Пусть, для примера, проводится экспертиза методом «Дельфи». Его особенности: анонимность, регулируемая обратная связь, групповой ответ.

Опрос проходит в несколько этапов (обычно 4), и на каждом этапе экспертов информируют о результатах предыдущих и просят обосновать свое мнение, что позволяет уменьшить разброс индивидуальных оценок. На каждом этапе эксперт дает ответ по заранее заданной шкале. Все оценки статистически обрабатываются, и рассчитываются так называемые медианы и квартили.

Например, 17 экспертов количественно оценили проблему. Все 17 оценок (от 1 до 17) располагают в порядке убывания. Средний член такого ряда – «9» – называется медианой. Затем ряд делят на 4 части – квартили.

Считается, что во 2 и 3-м квартилях собраны наиболее предпочтительные оценки, которые и следует принимать в расчет. Таким образом, медиана служит характеристикой группового ответа, а значения 2 и 3-го квартилей – показателем разброса индивидуальных оценок.

После 1-го тура каждому эксперту сообщают величину медианы и разброс оценок. Экспертов с ответами в крайних квартилях просят

29

объяснить свою позицию и расхождение с групповым мнением. При желании они могу исправить оценки. Одновременно остальных экспертов знакомят с крайними мнениями и их мотивировкой, строго соблюдая при этом принцип анонимности. После 4-го этапа все оценки и мотивировки в последний раз доводятся до экспертов, и они получают последнюю возможность поменять мнение.

В заключение формируется групповая оценка. Если число оценок небольшое, то в качестве коллективного ответа можно принять медиану. Если число оценок большое, то в качестве коллективного ответа принимается или среднеарифметическая величина, если не учитывается рейтинг экспертов:

или средневзвешенная величина, если учитывается «вес» экспертов:

где Qi – оценка i-того эксперта; Ri – « вес» i-того эксперта.

Формализация информации, полученной от экспертов.

Всю информацию, получаемую от экспертов, можно разделить на

2вида: количественную и качественную.

Кколичественной информации можно отнести результаты како- го-нибудь измерения с помощью физических или денежных единиц. Она уже сама по себе конкретна, т.е. формализована.

Ккачественной информации относятся показатели, характеризующие важность, значительность или предпочтительность факторов. Например, важность научно-технических направлений в исследованиях, значимость (предпочтительность) тех или иных факторов перед другими. Для работы с такой информацией ее нужно измерять. Поэтому задача формализации качественной информации заключается в нахождении соответствующей меры для ее измерения, т.е. в представлении этой информации в виде числа. Это достигается с помощью создания различных шкал.

30