Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы системного анализа. В 2 частях. Ч.2. Учебное пособие
.pdf
1.2. Методы качественного оценивания систем
21
влекаются специалисты из различных областей знаний, определяемых совокупностью рассматриваемых задач.
Сценарный метод может использоваться на самых различных этапах
системного анализа, когда требуется создание и упорядочивание самой
разнородной и неструктурированной информации. Но главной областью
применения этого метода является первый этап системного анализа – анализ проблемы.
В современном понимании сценарий – это имеющее низкий уровень
формализации структурированное текстовое описание некоторой проблемы и путей ее решения, представленное в виде совокупности разделов,
между которыми установлены определенные логические отношения.
В процессе разработки сценария, в котором должна четко прослеживаться предполагаемая картина последовательного развития во времени и
пространстве событий, экспертам приходится отвечать на следующие основные группы вопросов:
1. Как элементы и связи между ними влияют на структуру изучаемого
процесса?
2. В чем проявляется взаимодействие элементов с внешней средой?
3. Какая цель развития процесса и какие моменты являются определя-
ющими при ее формировании?
4. Какие тенденции развития ожидаются у элементов и какими факто-
рами они определяются?
5. Какие проблемные ситуации могут встретиться в развитии процесса
в направлении поставленной цели?
6. Какие возможности управления развитием и каковы ожидаемые по-
следствия различных вариантов управления?
По результатам ответов на подобные вопросы разрабатывается сценарий, являющийся некоторой условной оценкой возможного пути развития
процесса, поскольку он разрабатывается в рамках предположений о его будущих состояниях, которые однозначно не предсказуемы.
Метод сценариев позволяет не только разрабатывать варианты развития событий в будущем (т. е. прогнозировать), но и оценивать последствия
выбора альтернативных решений. Как правило, для решения проблемы создается несколько сценариев, в которых учитывается влияние разных факторов внешней и внутренней среды.
1. Качественные методы оценки сложных систем
22
1.2.5. Метод экспертных оценок
Основой метода экспертных оценок является предположение, что
обобщенное мнение группы экспертов будет в большей степени соответствовать истинному значению, чем мнение отдельного эксперта. Но поскольку оценки экспертов могут не только не совпадать, но даже сильно
различаться, то при обработке материалов коллективной экспертной оценки необходимо устанавливать степень согласованности мнений экспертов.
Для этого используются различные формулы расчета степени согласованности мнений экспертов [8, 9].
Наибольшее применение нашел ранговый коэффициент конкордации
(от лат. concors – согласный) М. Д. Кендалла (британский статистик,
1907–1983). Суть этого метода состоит в том, что каждому эксперту, участвующему в оценке объекта, предлагается присвоить числовые ранги (некоторые значения) каждому из свойств рассматриваемого объекта. Первый
ранг присваивается самому важному свойству, по мнению каждого из экспертов независимо. Второй ранг присваивается чуть менее важному и так
далее до исчерпания всех свойств объекта. В результате таких действий
получается ранжирование свойств объекта по степени важности. В простейшем случае ранжированием осуществляется расстановка мест экспертами для каждого свойства в соответствующей таблице – матрице. Результаты работы n экспертов относительно m свойств сводятся в матрицу размера
()mn
,которая называется матрицей опроса. Анализируя полученные
данные таких таблиц, Кендалл предложил формулу вычисления рангового
коэффициента конкордации в виде
23
12
,
()
S
W
n m m
где значение S – это сумма квадратов отклонений всех оценок рангов, выставленных каждым экспертом каждому свойству объекта, от его среднего
значения; n – число экспертов; m – число свойств объекта.
Коэффициент конкордации W позволяет оценить степень согласованности между собой оценок, построенных каждым экспертом для всех
свойств рассматриваемого объекта. Его значение находится в пределах
0 ≤ W ≤ 1. Значение W = 0 означает полную противоположность мнений
1.2. Методы качественного оценивания систем
23
экспертов, а W = 1 – полное совпадение ранжированных свойств. Достоверность практически считается хорошей, если W = 0, 7,...,0,8.
Малое значение коэффициента конкордации свидетельствует о слабой
согласованности мнений экспертов, что является следствием двух причин:
а) в рассматриваемой совокупности экспертов отсутствует общность
мнений;
б) внутри данной совокупности экспертов есть группы с высокой со-
гласованностью мнений, однако мнения таких групп противоположны.
Рассмотрим кратко некоторые детали получения экспертных оценок и
их использования. Самый первый шаг метода – подбор группы экспертов,
являющихся специалистами в области решаемой проблемы. Подбором
группы занимается, как правило лицо, которое по результатам экспертизы
будет принимать окончательное решение. Его принято называть лицом,
принимающим решение (ЛПР). Следует отметить, что в простейших случаях экспертная группа может состоять всего лишь из одного члена. Тогда
результат экспертизы будет определяться этим одним членом. Например,
на экзамене преподаватель ставит оценку студенту единолично, а врач –
диагноз больному. В обоих этих случаях в качестве ЛПР выступает преподаватель и врач соответственно. Но в сложных случаях заболевания или
при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению – симпозиуму врачей или комиссии преподавателей. У симпозиума врачей и у комиссии преподавателей есть свой председатель, который исполняет роль ЛПР и выносит окончательное обобщенное мнение.
Но из данных примеров трудно обнаружить решающую роль ЛПР.
На ниже следующем примере роль ЛПР представлена исключительно
важной и решающей. Первого сентября 1812 г. состоялся исторически известный совет в Филях под председательством М. И. Кутузова. Решался
единственный вопрос – нужно ли дать Наполеону новое генеральное сражение под Москвой или отступить. Большинство генералов было за новое
сражение. Но Кутузов, как дальновидный главнокомандующий, принял
решение – отступить, не совпадающее с мнением большинства генералов.
Как показали последующие исторические события, благодаря решению Кутузова была спасена Россия – так считают историки.
Метод экспертных оценок обладает как достоинствами, так и недо-
статками. Главным достоинством метода считается относительная простота
его реализации. Из недостатков метода можно выделить следующие: мож-
1. Качественные методы оценки сложных систем
24
но использовать лишь небольшое количество ранжируемых свойств
объекта, т. к. при превышении их числа больше 15–20, экспертам становится трудно присваивать объективные ранговые оценки; субъективность
метода – достоверность и надежность результатов исследования зависят от
многих факторов, в основном от уровня компетентности экспертов. Отсюда
вытекает потребность в их высокой квалификации. Это в свою очередь
приводит к трудностям подбора экспертов и существенному удорожанию
метода.
Несмотря на приведенные недостатки, метод в последнее время находит все большее применение в самых различных областях, так как он часто
является единственным средством решения многих задач. Это же обстоятельство способствует его постоянному научно-практическому развитию
[10].
Надо заметить, что в данном методе, как и в методе сценариев, главная
роль принадлежит экспертам! Поэтому оба эти метода можно было бы относить к различным реализациям экспертных методов. Но в силу значительных различий их рассматривают отдельно и независимо.
1.2.6. Метод Дельфи
Общая структура метода Дельфи такова, что его можно относить к методам экспертных оценок, поскольку основными действующими лицами
опять-таки являются эксперты. Причем роль экспертов проявляется еще
более значимо. Так, например, по мнению автора учебника [10], метод
Дельфи полностью относится к экспертным методам. Однако имеются и
существенные отличия. Сразу же нужно отметить необычность названия.
Оно носит мифологический смысл и связано с древнегреческим городом
Дельфи, где при храме Аполлона с IX в. до н. э. до IV в. н. э. по преданиям
существовал Дельфийский оракул (предсказатель). Метод разработан в
США в 1950–1960 гг. для прогнозирования влияния научных разработок
на методы ведения войны О. Хелмером, Д. Норманом и Н. Решером.
Основная суть метода Дельфи заключается в экспертной оценке группой специалистов, предложенной им проблемы. Но в отличие от типичного
для экспертных оценок подхода к достижению согласованности мнений
экспертов путём открытой дискуссии в методе Дельфи осуществляется
полный отказ от открытых коллективных обсуждений. Этим достигается
1.2. Методы качественного оценивания систем
25
анонимность процесса, что позволяет уменьшить степень влияния на результаты экспертизы психологических факторов, которые характерны для
описанного выше метода экспертных оценок, а именно – присоединение к
мнению наиболее авторитетного специалиста, к публично выраженному
мнению или следование за мнением большинства.
Исключение психологических факторов достигается также и тем, что
группа экспертов должна формироваться из незнакомых друг с другом и
независимых экспертов. Тем самым они не будут влиять на мнение друг
друга, а прямые дебаты заменяются тщательно разработанной программой
последовательных индивидуальных опросов, проводимых обычно в форме
анкетирования. При этом эксперты не обязательно должны находиться в
одном помещении или даже в одном городе. В современных условиях это
означает, что экспертный опрос может осуществляться удаленно с помощью компьютерных технологий (более детально об этом речь пойдет ниже). Ответы экспертов обрабатываются и обобщаются и вместе с новой
дополнительной информацией поступают тем же экспертам для уточнения
своих первоначальных ответов. Такая процедура повторяется турами несколько раз до достижения приемлемой согласованности совокупности высказанных мнений. Результаты экспериментов показали приемлемую согласованность оценок экспертов после пяти туров опроса.
В упрошенном виде метод Дельфи можно рассматривать как несколько этапов мозгового штурма, но в отличие от него проводящихся не единовременно и не в одном месте сосредоточения всех экспертов. Приведем основные особенности этого метода [11]. В проведении метода обязательно
должны участвовать две группы:
первая группа – независимые эксперты, которые оценивают и пред-
лагают варианты решения проблемы;
вторая группа – аналитики, которые выполняют обработку вариан-
тов решений экспертов, приводя их к единому общему результату.
Реализация метода осуществляется в три этапа: подготовительный,
основной и итоговый, иногда его называют аналитическим. Всем процес-
сом метода Дельфийского оракула руководит ведущий. Важно, чтобы
участники ему доверяли, а он относился к ним одинаково, не проявляя пренебрежения или предвзятости. Ведущий сохраняет нейтралитет, не выделяет ту или иную идею, не склоняет к ней. Его главная цель – помочь найти
самое верное в данной ситуации решение.
1. Качественные методы оценки сложных систем
26
На подготовительном этапе осуществляют подбор экспертов. По ко-
личественному составу в группу экспертов рекомендуется включать в пределах 20 человек. Но минимальное число экспертов должно быть равно количеству рассматриваемых вопросов, т. е. с каждым вопросом должен работать хотя бы один эксперт. В группу экспертов подбираются профессионально подготовленные специалисты, на которых возлагается основная задача разрешения проблемы. Помимо группы экспертов, которые будут
предлагать варианты решения проблемы, формируется группа из нескольких аналитиков. Это сотрудники компании, задача которых – изучение
предложенных экспертами вариантов решения проблемы и выбирать из
них лучшие.
Основной этап состоит из нескольких повторяющихся, как уже было
отмечено выше, туров. В первом туре эксперты разбивают проблему на несколько более мелких частей (вопросов). Затем аналитики отбирают из
этих мелких вопросов самые значимые и похожие по замыслу варианты
решений. Объединяя их содержательно, кратко составляют опросник. Этот
опросник отправляется аналитиками экспертам. Эксперты еще раз просматривают вопросы, при необходимости дорабатывают их.
Получив опросник, каждый эксперт должен дать развернутый ответ на
каждый вопрос в анкете. Эта часть этапа является самой сложной, поскольку здесь эксперт должен проявить все свои способности и знания, чтобы
предложить свой уникальный вариант решения проблемы, предположить и
предвидеть неудачные возможные варианты развития событий, ухудшающие процесс реализации его варианта решения проблемы. Все ответы на
опросник должны быть аргументированно обоснованными. При возможности ответы желательно давать не только в качественном виде, но и в количественном. Варианты решения проблемы экспертами поступают аналитикам, задача которых – изучение и обобщение всех вариантов решений, с
целью выработки единого варианта решения проблемы. Не исключен случай, что могут существовать противоречащие варианты решений. Такие варианты выносятся на анонимное обсуждение с экспертами, после чего некоторые из экспертов могут изменить свой вариант решения.
Из рассмотренных и, при необходимости скорректированных вариантов решений, аналитиками составляется новый опросник, который отправляется всем экспертам. После ознакомления с ним эксперты уточняют при
необходимости свои варианты решения и возвращают их аналитикам. Ана-
1.2. Методы качественного оценивания систем
27
литики либо подготавливают новый опросник для нового тура, либо заканчивают процесс. Так продолжается до тех пор, пока не будет выработано
единое согласованное решение проблемы. Временной промежуток между
турами является основным фактором, определяющим общее время реализации метода Дельфи. Специально он не устанавливается, но считается, что
максимальная его величина не должна превышать один месяц [12].
На итоговом этапе выполняется окончательная проверка экспертных
оценок и озвучивается вариант обобщенного выбранного решения, а также
дается оценка деятельности экспертной и аналитической групп.
В качестве заключения выделим следующие положения.
Метод Дельфи позволяет решать проблемы и отвечать на вопросы,
связанные с прогнозированием. В качестве экспертов выступает группа незнакомых людей. Опрос проходит в несколько туров. Участники не контактируют друг с другом, их ответы обрабатываются аналитиками. Экспертиза
длится до тех пор, пока члены группы не придут к общему мнению.
Достоинства метода Дельфи:
– метод привлекателен тем, что проблема рассматривается детально и
всесторонне;
– учитывается мнение как экспертов, так и аналитиков;
– метод может применяться в самых различных отраслях;
– все участники в процессе работают независимо, не ориентируясь на
авторитеты или мнение большинства.
– психологические факторы сведены к минимуму.
Недостатки метода Дельфи:
– основной этап занимает слишком много времени;
– если члены экспертизы представляют разные слои общества и ми-
ровоззрений, то прийти к общему мнению будет проблематично;
– у аналитиков слишком много полномочий, они могут отбрасывать
удачные решения;
– при проведении экспертизы в нескольких группах, можно получить
несколько противоположных итогов, все из которых могут представляться
верными.
В западных странах дельфийский метод прогнозирования пользуется
популярностью. Чаще всего его используют в процессе стратегического
планирования. Представляет интерес опыт использования метода в мировом масштабе. Приведем лишь некоторые примеры:
1. Качественные методы оценки сложных систем
28
Япония. В стране, начиная с 1971 года, раз в 5 лет публикуют прогно-
зы, касающиеся научно-технического прогресса. Японцы пользуются модифицированной версией Дельфи, которую можно приспособить для решения практических задач.
Великобритания. Впервые британцы воспользовались технологией в
1995 году. Прогноз потребовался во время становления национальной политики в сфере науки и технологий. Дельфи до сих пор применяется для
разработки различных национальных программ.
Франция. Впервые Дельфи использовался в 1994 году для определе-
ния перспектив развития научно-технической сферы. В опросе участвовало
больше тысячи экономистов. Как и в Японии, подобные прогнозы публикуются каждое пятилетие.
Германия. Немцы применяют Дельфи уже почти 30 лет, разрабатывая
государственные форсайт-проекты, например, «FUTUR – немецкий исследовательский диалог» [13].
У нас в стране в явном виде метод практически не использовался и
лишь в последнее время к нему проявился интерес. Появились статьи, посвященные методу Дельфи, в журналах [14–16] и в трудах конференций
[17–20].
Однако, если углубиться в исторические факты, то можно обнаружить,
что в нашей стране методология форсайта (англ. Foresight – взгляд в будущее, предвидение, форсайт-проекты, а метод Дельфи используется в основном для создания долгосрочных проектов) была использована даже
раньше, чем на западе – с 1915 г. Просто таким новомодным и броским
термином она тогда не называлась. Так, в 1915 г. на основании предложения В. И. Вернадского Императорская академия наук организует комиссию
по изучению естественных производительных сил России (КЕПС). Эта комиссия стала прообразом советских институтов, отвечавших за модернизацию всей российской экономики.
На основе аналитических работ КЕПС были организованы такие проекты как план ГОЭЛРО, (аббревиатура от Государственная комиссия по
электрификации России), впоследствии названный советским экономиче-
ским чудом, Курская Магнитная Аномалия и другие крупные проекты развития России и СССР.
С 1921 по 1929 гг. в результате разработки прогноза перспектив разви-
тия СССР на годы первой пятилетки (1928–1932) группой ученых под ру-
1.2. Методы качественного оценивания систем
29
ководством В. А. Базарова (1874–1939, пионер в развитии экономического
планирования в Советском Союзе) были получены две качественно новые
исследовательские технологии: «телеологическая» (Телеология – искусственно-конструктивный подход к определению путей и темпов индустриального развития) и «генетическая» (генетические технологии иначе технологии генной инженерии – это современное направление биотехнологии,
позволяющие получать новые наследственные свойства организмов). Лишь
тридцать лет спустя в США при попытке прогноза реализации программы
«Аполлон», не зная о выводах русских коллег, пришли к практически аналогичному заключению, только «генетический» подход назвали «поисковый», а «телеологический» подход назвали «нормативным». Оба подхода
составили «технологическое прогнозирование».
С этого момента началось полноценное использование «технологиче-
ского прогнозирования» по всему миру сотнями институтов, специально
занятых разработкой поисковых и нормативных прогнозов [21,22].
1.2.7. Метод Дельфи в реальном времени
Основной недостаток – длительность метода Дельфи препятствовали
его широкому использованию в некоторых областях. Особенно ощутимо
это проявлялось, например, в области здравоохранения, когда медицинской
скорой помощи уже по дороге к больному требуется проводить срочный
консилиум врачей в реальном времени. Значительное сокращение времени
экспертных оценок требует и логистика, и сфера услуг, и розничная торговля и многие другие социальные и военные области.
Осуществить процесс получения экспертных оценок в реальном вре-
мени стало возможным лишь при использовании интернета. Однако первые
предложения по данному вопросу были доложены Туроффом еще в 1972 г1
на конференции, проведенной в США, когда интернета в современном его
виде еще не существовало. Значительно позже, в 2004 г., идея практической разработки более быстрой формы экспертных исследований по методу
Delphi была предпринята Агентством оборонных перспективных исследовательских проектов США (DARPA). Через два года был разработан первый вариант продвинутой версии метода Дельфи с реальным временем вы-
1
Турофф, М. (1972). Delphi Conferencing: компьютерные конференции с анонимностью. Техноло-
гическое прогнозирование и социальные изменения, 3, 159–204.
1. Качественные методы оценки сложных систем
30
дачи экспертных оценок. В 2008 г. была разработана вторая версия метода
Дельфи с реальным временем, а в 2011 г. на ежегодном саммите WFS
(саммит – встреча на высшем уровне) были представлены обобщающие результаты 40 исследований обеих версий.
Основное различие между методом Дельфи в обычном и реальном
времени состоит в следующем. Процесс метода Delphi реального времени
организован так, что привлеченные эксперты могут входить в его программную систему в течение определенного (заранее оговоренного) периода времени. В течение этого времени им предоставляется неограниченная
возможность входа и выхода из системы. Независимо от того, когда любой
эксперт входит в систему, он может просматривать все свои ответы на
предыдущих промежутках времени и по желанию изменять их. Помимо
собственных ответов, эксперт может увидеть текущие ответы других экспертов с вычисленными количественными значениями медианы (смотреть
примечание ниже) и среднего значения. Численные и качественные значения ответов других экспертов также меняются в процессе их изменения.
Следовательно, каждый эксперт может выяснить близость или отдаленность его собственных ответов, данных им в предыдущие отрезки времени,
к усредненным или медианным ответам всех остальных экспертов, т. е.
совпадают они или отличаются от общего мнения всех экспертов, участвующих в Дельфи процессе. Таким образом, основной инновацией метода
Delphi реального времени является расчет и предоставление результатов
экспертизы в реальном времени.
Примечание. Алгебраическое определение медианы. Медиана – это
численное значение в упорядоченном по возрастанию ряду значений рассматриваемого фактора, находящегося в середине ряда, если в ряду нечетное число значений n. Если n четное, медиана равна половине суммы значений фактора, стоящих в упорядоченном ряду на (n –1)-й и (n +1)-й позициях.
Другими важными преимуществами метода Delphi реального времени
являются комфортность и визуализация всего процесса на экране монитора, применимость к самым разнообразным проблемам – как требующих ответа буквально в течение нескольких минут, так и тех, для которых время
не является критичным фактором. Можно также отметить, что теперь отпадает необходимость оформления бумажных отчетов по окончании процесса, так как они могут оформляться автоматически. Отсюда следует, что ме-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]