9.2.Методы анализа полученных данных

Методы оценивания систем разделяются на качественные и количественные. Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках, отсутствуют описания закономерностей систем в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы. Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы.

9.2.1. Методы качественного оценивания полученных данных

При исследовании процессов целесообразно применять качественные подходы, которые названы гуманитарными, т.к. центром анализа СЭиПП и явлений являются люди — субъекты этой деятельности.

Мозговой штурм

Метод представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объек­там, формирования новых, оригинальных идей.

Обычно при проведении сессий КГИ - «коллективная генерация идей» стараются выполнять определенные правила, суть которых:

обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей; приветствовать любые идеи, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее); не допускать критики любой идеи, не объявлять ее ложной и не прекращать обсуждение; желательно высказывать как можно больше идей, особенно нетривиальных

«Мозговой штурм» проводится в 2 этапа: этап генерации идей и этап практического анализа выдвинутых идей. Для этого собирается группа лиц, ото­бранных для генерации альтернатив. Главный принцип отбора - разнообразие профессий, квалификации, опыта, способ­ность людей к научному воображению и развитой интуиции, интеллектуальной раскованности.

Сообщается, что приветствуются любые идеи, возникшие как индивидуально, так и по ассоциации при выслушивании предложений других участников, в том числе идеи частично улучшающие чужие идеи. Категорически запрещается любая критика - это важнейшее условие «мозгового штурма», сама возможность критики тормозит воображение. Каждый из уча­стников по очереди зачитывает свою идею, остальные слуша­ют и записывают на карточки новые мысли, возникшие под влиянием услышанного. В группе необходимо поддерживать атмосферу непринуждённости, творчества, взаимоприемлемо­сти. Можно высказывать абсолютно нереальные и фантастиче­ские идеи. Главной задачей первого этапа «мозгового штурма» является поиск как можно большего количества различных вариантов решения проблемы, путей достижения целей, идей и мыслей. На втором этапе карточки собираются, сортируются и анализируются группой экспертов, аналитиков, которые должны следовать следующим принципам:

• ни одна идея не должна исключаться из анализа, все идеи должны быть классифицированы и обобщены;

• группа аналитиков должна состоять из людей, хорошо по­нимающих суть проблемы, обладающих чётким логиче­ским мышлением и терпимостью к чужим идеям;

• для обеспечения объективности оценки и анализа идей должны быть сформулированы предельно чёткие крите­рии, которыми должны руководствоваться все члены ана­литической группы.

Большое значение имеет личность и деятельность ведуще­го. Возможны различные варианты: ведущий может быть для первой и второй группы один и тот же или можно дифферен­цировать ведущих. Ведущий должен обладать большой твор­ческой активностью, доброжелательностью, глубоким пониманием решаемой проблемы, способностью организовывать и поддерживать интеллектуальный процесс.

Целесообразность использования метода «мозгового штур­ма» определяется оценкой сложности и оригинальности ис­следовательской проблемы и наличием специалистов, способ­ных эффективно участвовать в процессах «мозгового штурма».

Метод синектики

Идея синектики возникла в практике исследования метода «мозгового штурма» и в процессах ис­следовательского и коллективного творчества. Суть её за­ключается в поиске и реализации возможности исследовате­лей на основе включения бессознательных механизмов в соз­нательном исследовании проблем, на основе социально-психологического взаимодействия в процессах интеллекту­альной деятельности.

Идея синектики заключается в формировании «группового мышления» в специально созданной группе синекторов. Главным отличием синектики от метода «мозгового штурма» является подход к исследованию и решению проблемы не с позиции выдвижения идеи в их законченном виде и индиви­дуальном авторстве, а представление незавершённых идей и мыслей, которые подпитывают процесс коллективного мыш­ления. Они даются в виде нерациональной информации, ме­тафор, образов, смутных ощущений, действующих не столько на мышление человека, сколько на его чувства, отношения в группе, активизацию интуиции. Группа влияет на творче­скую активность индивида, обуславливается отказ от стан­дартных подходов. Это определяется подбором групп и орга­низацией её работы.

Группа формируется в три этапа: отбор по потенциалу знаний, образования и опыта - это первый этап; второй - от­бор по потенциалу творчества (тип мышления, эмоциональ­ный настрой, система ценностей); третий - отбор по потен­циалу коммуникативности. Для каждого этапа должны су­ществовать определённые критерии отбора и тесты реализа­ции этих критериев в оценках кандидатов.

Сформировать группу ещё недостаточно, чтобы она могла продуктивно работать. Её надо обучить некоторым приёмам совместной деятельности. Продолжительность обучения мо­жет быть различной. Главное - сформировать понимание ме­тода и уверенность в его продуктивности, коллективизм в решении проблем исследовательского типа, освоение роли каждого в синектической группе. Заключительный этап пред­ставляет собой организацию продуктивной деятельности группы, освоение проблемы и проведение исследовательской работы.

Метод экспертных оценок

1.Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы, с количественной оцен­кой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как реше­ние проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их фор­мальной обработкой позволяет получить эффективное решение проблемы.

Методические вопросы возможностей и специфики использования экспертных оценок разработаны подробно.

Разновидности методик экспертизы и приемы обработки ее результатов зависят от характера рассматриваемой проблемы и условий опроса.

Рассмотрим некоторые актуальные особенности экспертных опросов.

При экспертных оценках искомая характеристика проблемы представляется случайном величиной, закономерность распределения которой заключена и оценке экспертом достоверности и значимости ожидаемого события. Диапазон разброса оценок группой экспертов содержит истинное значение исхода, и обобщенное мнение экспертов считается достоверным.

Учитывая субъективность оценок отдельными экспертами событий и увеличение достоверности при усреднении результатов, можно полагать, что экспертные оценки являются «общественной точкой зрения» на некоторую проблему.

В зависимости от уровня и качества знаний о предмете исследования обобщенные представления о системе и характере ее развития могут меняться.

Экспертные оценки по сложной проблеме с высокой неопределенностью необходимо проводить систематически, прибегая к оценке вероятности формируемого исхода но теории размытых множестве которая предполагает, что случайное событие обладает признаками одновременно двух или большего числа множеств.

Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых про­блем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании «хорошего измерителя». Это означает, что выполняются следующие условия:

-эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

- групповое мнение экспертов близко к истинному решению проблемы. Если эти условия выполняются, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математи­ческую статистику.

Ко второму классу относятся проблемы, в отношении которых инфор­мационный потенциал знаний недостаточен для выполнения указанных условий. При решении проблем этого класса экспертов уже нельзя рассмат­ривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осред­нения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться пра­вильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

- составление перечня возможных событий в различных областях за определенный промежуток времени;

- определение наиболее вероятных интервалов времени наступления совокупности событий;

- определение целей и задач управления, с упорядочением их по сте­пени важности;

- определение альтернативных вариантов решения задачи, с оценкой их предпочтения;

- альтернативное распределение ресурсов для решения задач, с оцен­кой их предпочтительности;

- альтернативные варианты принятия решений в определенной ситу­ации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы прове­дения экспертизы, последовательность и содержание которых будут изме­няться в зависимости от реальных условий и ограничений:

1. формулирование цели экспертизы;

2. формирование группы специалистов-аналитиков;

3. отбор и формирование группы экспертов;

4. проведение опроса;

5. анализ и обработка информации экспертов;

6. синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения их в фор­му, удобную для принятия решения.

2.Подготовка экспертизы

К подготовке экспертизы относятся первые три этапа проведения экспер­тизы. Большое значение имеет четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в зна­чительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа спе­циалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобще­ние информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам — математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает пере­чень (множество) оцениваемых событий и устанавливает совокупность ус­тойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экс­пертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

- качественное описание всего множества оцениваемых событий;

- перечень событий;

- описание устойчивых факторов для каждого из событий;

- выделение числа различимых уровней для каждого события;

- выделение числа различимых уровней для каждого фактора;

-описание набора устойчивых значений факторов для каждого уров­ня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации со­гласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование систе­мы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества реше­ния проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность, самокритичность и т.д. Перечисленные характеристики в основном оцениваются качественно.

Компетентность – это степень квалификации эксперта в определенной области знаний.

Креативность — это способность решать творческие задачи. Оценивает­ся на основе суждений, основанных на изучении деятельности эксперта.

Конформизм — это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности, а также при принятии решения по рассматриваемой про­блеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов.

3.Виды и типы опросов

Таблица 2. Виды и типы опросов

Вид опроса	Тип вопроса	Пример
Вопрос, ответ на который содержит количественную оценку	Оценивающий: время наступления неко­торого события вероятность осуществле­ния события количественное значение прогнозируемой характе­ристики объекта влияние факторов друг на друга по некоторой шкале	Когда будет создан первый опытный образец объекта? Оцените по десятибалльной шкале вклад каждой из рас­сматриваемых теорий в ре­шение проблемы
Вопрос, требующий содер­жательного ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какой принцип использова­ния объекта является наи­более эффективным для ре­шения поставленной зада­чи в период с 2002 по 2010 г.: А, или В, или С, или ...? Какие из перечисленных ниже методов будут приме­няться в период с 2002 г. по 2010 г.: А, или В, или С, или ...?
Вопрос, требующий содер­жательного ответа в развер­нутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, кото­рые подтверждают тезис, содержащийся в вопросе	Каковы характерные осо­бенности объекта? Каковы ваши доводы в пользу целесообразности развития объекта?

4. Методы обработки информации, полученной от экспертов

К наиболее употребительным процедурам экспертных измерений относятся:

Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа.

Поскольку за начало отсчета выбрана нулевая точка, то в данном примере

измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов.

Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

Последовательное сравнение. Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами.

Метод Дельфи

(Дельфы - древнегреческий город располагав­шийся у подножия горы Парнас, где находился так называемый дельфийский оракул) Метод предполагает полный отказ от коллективных обсуждений .Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования.

Метод на сегодня представляет собой совокуп­ность способов организации проведения экспертизы, опроса экс­пертов, обработки и оценки их результатов, получения группово­го заключения, удовлетворяющих определенным общим требова­ниям.

Сущность метода заключается в организации итерационно­го (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последова­тельным сужением размаха в оценках экспертов соответствую­щих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выяв­ления одной или нескольких обоснованных точек зрения экс­пертной комиссии по исследуемому объекту.

При реализации ме­тода должны выполняться следующие требования: анонимность каждого включенного в проведение экспертизы эксперта и ин­формации по сути исследуемого объекта, сгенерированной кон­кретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающей­ся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспер­тами на предшествующем шаге, для принятия решения по уточ­нению своих оценок; получение групповой оценки на основе об­работки индивидуальных оценок членов группы. При этом зна­чимым является обеспечение возможности давать экспертам от­веты на поставленные вопросы преимущественно в количествен­ной форме, организация достаточной информированности экспер­тов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в не­сколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применя­ется анкетирование, хотя и не исключаются и другие формы индивидуального опроса.

В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рас­сматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с це­лью выявления крайних значений оценок - верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по ре­зультатам высказываний членов экспертной группы. Устанав­ливается величина разброса экспертных оценок, на основе кото­рой делается заключение о согласованности точек зрения экс­пертов. Полученные результаты первого тура доводятся до экс­пертов с указанием расположения их собственных оценок.

Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной инфор­мации. Полученные данные вновь обрабатываются, анализиру­ются с доведением результатов до экспертов. Анализ проводится, в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае полу­чения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Недостатки метода Дельфи: значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок; необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию, что сказывается на результатах экспертизы.

В 60-е гг. ХХ века область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology -

количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого метода экспертной оценки) различных отраслей и научных направлений в решение какого-либо круга задач.

Метод SEER (System for Event Evaluation and Review система оценок и

обзора событий) предусматривает всего два тура оценки. В каждом туре

привлекается различный состав экспертов. Эксперты первого тура -

специалисты промышленности, эксперты второго тура - наиболее

квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90 % всех оценок).

Разновидностью методов дерева целей и Дельфи является метод PATTERN (Planning Assistance Through Technical Evaluation of Relevance Numbers - помощь планированию посредством относительных показателей технической оценки), разработанный для повышения эффективности процессов принятия решений в области долгосрочной научно-технической ориентации крупной промышленной фирмы.

Сущность метода PATTERN заключается в следующем. Исходя из

сформулированных целей потребителей продукции фирмы на прогнозируемый период осуществляется развертывание дерева целей. Для каждого уровня дерева целей вводится ряд критериев. С помощью экспертной оценки определяются веса критериев и коэффициенты значимости, характеризующие важность вклада целей в обеспечение критериев. Значимость некоторой цели определяется коэффициентом связи, представляющим сумму произведений всех критериев на соответствующие коэффициенты значимости. Общий коэффициент связи некоторой цели (относительно достижения цели высшего уровня) определяется путем перемножения соответствующих коэффициентов связи в направлении вершины дерева.

Морфологические методы

Основная идея морфологических методов систематически находить все

мыслимые варианты решения проблемы или реализации системы путем комбинирования выделенных элементов или их признаков. В систематизированном виде морфологический подход разработан и применен впервые швейцарским астрономом Ф. Цвикки и долгое время был известен как метод Цвикки.

Цвикки предложил три метода морфологического исследования:

1. Метод систематического покрытия поля (МСПП), основанный на выделении так называемых опорных пунктов знания влюбой исследуемой области и использовании для заполнения поля некоторых сформулированных принципов мышления.

2. Метод отрицания и конструирования (МОК), заключающийся в том, что на пути конструктивного прогресса стоят дог мы и компромиссные ограничения, которые есть смысл отрицать,и следовательно, сформулировав некоторые предложения, полезно заменить их затем на противоположные и использовать при проведении анализа.

3. Метод морфологического ящика (ММЯ), нашедший наиболее широкое распространение. Идея ММЯ состоит в том, чтобы определить все мыслимые параметры, от которых может зависеть решение проблемы, представить их в виде матриц-строк, а затем определить в этом морфологическом матрице-ящике все возможные сочетания параметров по одному из каждой строки.

Полученные таким образом варианты могут снова подвергаться оценке и анализу в целях выбора наилучшего. Морфологический ящик может быть не только двумерным.

Метод структуризации проблемы

Сущность метода структуризации состоит в построении «дерева решений» путем многоэтапного экспертного опроса с использованием так называемой дельфийской процедуры. В результате проведения каждого этапа экспертного опроса формируются элементы одного уровня «дерева решений», производится их сравнительная оценка, отбрасываются элементы не соответствующие принятым показателям отбора. Оставшиеся элементы подвергаются дальнейшей структуризации на более низком уровне. Такой подход дает возможность наиболее полно учесть и оценить все предположения экспертов.

Каждый раз экспертам предлагаются для оценки элементы только одного уровня «дерева», что уменьшает размерность задачи и повышает обоснованность суждений экспертов. При таком подходе ускоряется процесс построения «дерева решений», так как по принятым показателям отбора элементы каждого уровня оценивают, а элементы, не соответствующие им, отбрасывают и не учитывают в дальнейшем рассмотрении.

Метод позволяет определить состав работ при структуризации принятия решения. Пусть требуется:

-оценить возможные пути решения проблемы, т.е. определить, какие конкретно научно-исследовательские и проектные работы и организационные мероприятия следует выполнить;

-оценить требуемые для этого ресурсы, т.е. время и стоимость решения проблемы.

Процедура структуризации проблемы и ее оценки реализацию следующих этапов:

этап 1 — определение и описание проблемы;

этап 2 — структуризация проблемы на уровне подпроблемы;

этап 3 — структуризация подпроблем на уровне тем научных исследований;

этап 4 — расчет технико-экономических характеристик элементов третьего уровня «дерева решений».