3. Порядок построения «дерева» целей

Порядок построения «дерева» целей СУ может быть следующим:

1. определение генеральной цели СУ;

2. составление банка целей, обеспечивающих достижение гене­ральной цели;

3. оценка каждой цели банка и их отбор для построения «дере­ва» (на основе, например, экспертных оценок);

4. определение входимости целей одна в другую (например, с использованием матриц входимости);

5. построение исходного «дерева» целей;

6. определение коэффициентов относительной важности и вза­имной полезности целей;

7. построение окончательного варианта «дерева» целей (для ка­ждого из уровней).

Приведенный порядок построении «дерева» является примерным, так как в каждом случае необходимо проявлять творческий подход.

Рассмотренный метод может использоваться на различных ста­диях исследования. При этом его применение возможно в следую­щих случаях:

• для проверок правильности формирования, формулирования и последовательных оценок на соответствие предъявляемым к це­лям требованиям (конкретности, достижимость, измеримости, и др.) в действующих СУ, что позволяет провести их корректировку; оценку целей на соответствие требованиям можно проводить с ис­пользованием матрицы, где следует отражать характеристики цели по определенным градациям (например: приоритетна — не приори­тетна, легкодостижима — труднодостижима, низкозатратна — высокозатратна, персонал заинтересован — персонал не заинтересован, малотрудоемка — трудоемка, значима — не значима, ориентирована на высокие технологии — ориентирована на низкие технологии, требует изменения ОСУ — не требует изменения ОСУ);

• для постановки и формулирования целей во вновь создавае­мых СУ:

• для постановки формулирования целей исследования СУ.

В первом случае при исследовании целеполагания в СУ следует сопоставлять требования и правила, предъявляемые к целям и по­строению их «дерева» и на основе этих сопоставлений делать выво­ды и проводить соответствующее совершенствование системы.

Во втором и третьем случаях все требования и правила нужно применять на практике корректно, правильно сформировать и сформулировать цели.

Тема 7. Экспертные оценки решения проблем

Цель: сформировать представление о методе экспертных оценок, об области его применения

План:

1. Сущность и содержание метода экспертных оценок.

2. Классический метод экспертных оценок Дельфи.

1. Сущность и содержание метода экспертных оценок.

Сущность метода экспертных оценок заключается в проведении эксперта­ми интуитивно-логического анализа проблемы, с количественной оцен­кой суждений и формальной обработкой результатов. Полученное в ре­зультате обработки обобщенное мнение экспертов принимается как реше­ние проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их фор­мальной обработкой позволяет получить эффективное решение проблемы.

Метод экспертных оценок используется для решения различных слож­ных неформализуемых проблем. Все множество плохо формализуемых про­блем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информаци­онного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его резуль­татов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия:

• эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями");

• групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполняются, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математи­ческую статистику.

Ко второму классу относятся проблемы, в отношении которых инфор­мационный потенциал знаний недостаточен для выполнения указанных условий. При решении проблем этого класса экспертов уже нельзя рассмат­ривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осред­нения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, силь­но отличающееся от мнения остальных экспертов, может оказаться пра­вильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типо­вые задачи, решаемые методом экспертных оценок:

• составление перечня возможных событий в различных областях за определенный промежуток времени;

• определение наиболее вероятных интервалов времени наступления совокупности событий;

• определение целей и задач управления, с упорядочением их по сте­пени важности;

• определение альтернативных вариантов решения задачи, с оценкой их предпочтения;

• альтернативное распределение ресурсов для решения задач, с оцен­кой их предпочтительности;

• альтернативные варианты принятия решений в определенной ситу­ации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы прове­дения экспертизы, последовательность и содержание которых будут изме­няться в зависимости от реальных условий и ограничений:

1. формулирование цели экспертизы;

2. формирование группы специалистов-аналитиков;

3. отбор и формирование группы экспертов;

4. проведение опроса;

5. анализ и обработка информации экспертов;

6. синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения их в форму, удобную для принятия решения.

Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов, а также на анализе и обработке информации, полученной от экспертов.

К подготовке экспертизы относятся первые три этапа проведения экспер­тизы. Большое значение имеет четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в зна­чительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа спе­циалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобще­ние информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам — математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает пере­чень (множество) оцениваемых событий и устанавливает совокупность ус­тойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экс­пертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

• качественное описание всего множества оцениваемых событий;

• перечень событий;

• описание устойчивых факторов для каждого из событий;

• выделение числа различимых уровней для каждого события;

• выделение числа различимых уровней для каждого фактора;

• описание набора устойчивых значений факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации со­гласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование систе­мы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества реше­ния проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность и широта мышления, самокри­тичность и др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность — это степень квалификации эксперта в определен­ной области знаний. Компетентность экспертов оценивается коэффициентом компетентности «к». Он вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Например, в работе П.Л. Борисовского и др. предложен способ оценки компетентности экспертов, базирующийся на вычислении средне­го расстояния в пространстве между признаками товаров, которые оцени­вались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельных сторон товара, и, следовательно, такой эксперт недостаточно компетентен.

Креативность — это способность решать творческие задачи. Оценивает­ся на основе суждений, основанных на изучении деятельности эксперта.

Конформизм — это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности, а также при принятии решения по рассматриваемой про­блеме.

К характеристикам группы экспертов можно отнести: достоверность

экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов.

Достоверность экспертизы существенно зависит от качества экспер­тов, особенно от их компетентности. Можно утверждать, что достовер­ность групповой экспертизы есть монотонно возрастающая функция сред­ней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

Проведение опроса экспертов (анкетирование) является наиболее эффек­тивным и самым распространенным видом опроса. Анкетирование заклю­чается в заполнении экспертами опросных листов-анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

• вопросы, ответы на которые содержат количественную оценку;

• вопросы, требующие содержательного ответа в сжатой форме;

• вопросы, требующие содержательного ответа в развернутой форме.

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нуж­но ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее про­верка. Для этого подбираются "разноплановые" эксперты (по стажу рабо­ты, по специализации и т.п.). Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования — возможность влияния анкетирующего руководителя (члена группы управления) на ответы эксперта. Недостаток заочного анкетирова­ния — в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования — простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет-вопросников, экспертам должна быть дана пояснитель­ная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой приводятся примеры порядка и способа заполнения.