Основы теории систем. Учебное пособие

Роль специалистов по системному анализу при подготовке сценария заключается в помощи привлекаемым специалистам соответствующих областей знаний выявить общие закономерности развития системы. Проанализировать внешние и внутренние факторы, влияющие на её развитие и формирование целей, определить источники этих факторов, проанализировать высказывания ведущих специалистов в научных публикациях и других источниках научнотехнической информации, создать вспомогательные информационные фонды, способствующие решению соответствующей проблемы.

Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию развития отрасли или по разработке вариантов проекта.

Метод Дельфи первоначально был предложен О. Хелмером как итерационная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США во второй половине 40-х годов показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий. Название этих методов связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям существовал Дельфийский оракул.

В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфи предполагает отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование

91

за мнением большинства. В методе Дельфи прямые дебаты заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

В наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Недостатком метода Дельфи является значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок. Необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывается на результатах экспертизы.

Дальнейшим развитием метода Дельфи являются методы

QUWST, SEER, PATTERN.

Метод провокаций – вынесение на обсуждение заведомо ошибочного «экспертного заключения» с целью достижения обоснованной оценки путём выявления и преодоления его недостатков.

Метод дерева целей. Идея метода дерева целей впервые была предложена Черчменом в связи с проблемами принятия решений в промышленности. Термин – «дерево целей» подразумевает использование иерархической структуры, полученной путём разделения общей цели на подцели, а их, в свою очередь, на более детальные составляющие – новые подцели, функции и т.д. Как правило, этот термин используется для структур, имеющих отношения древовидного порядка.

Иногда, например, при анализе целей научных исследований удобнее говорить о дереве направлений прогнозирования. В.М. Глушковым, например, был предложен и в настоящее время широко используется термин «прогнозный граф». При использовании

92

этого понятия появляется возможность более точно определить понятие дерева как связного ориентированного графа, не содержащего петель, каждая пара вершин которого соединяется единственной цепью.

Морфологические методы. Основная идея морфологических методов – систематически находить все возможные варианты решения проблемы или реализации системы путем комбинирования выделенных элементов или их признаков. В систематизированном виде морфологический подход был разработан и впервые применен швейцарским астрономом Ф. Цвикки. Цвикки предложил три метода морфологического исследования.

Первый – метод систематического покрытия поля, основанный на выделении так называемых опорных пунктов знания в любой исследуемой области и использовании для заполнения поля некоторых сформулированных принципов мышления.

Второй – метод отрицания и конструирования, заключающейся в том, что на пути конструктивного процесса стоят догмы и компромиссные ограничения, которые полезно заменить на противоположные и использовать при проведении анализа. Этот метод называют инверсологией (от латинского слова inverso, что означает переворачивание, перестановка), и используют как относительно простой, но весьма мощный метод формирования новых взглядов на решаемые задачи.

Третий – метод морфологического ящика, нашедший наиболее широкое распространение. Идея метода морфологического ящика состоит в определении всех параметров, от которых может зависеть решение проблемы, и представлении их в виде матриц-строк, а затем в определении в этом морфологическом матрице-ящике всех возможных сочетаний параметров по одному из каждой строки. Полученные таким образом варианты могут затем подвергаться оценке и анализу с целью выбора наилучшего. Морфологический ящик может быть не только двумерным. Например, А. Холл использовал для исследования структуры систем трехмерный ящик.

Морфологические ящики Цвикки нашли широкое применение для анализа и разработки прогноза в технике. Для организационных

93

же систем, систем управления такой ящик, который, по-видимому, был бы многомерным, практически невозможно построить. Поэтому, используя идею морфологического подхода для моделирования организационных систем, разрабатывают языки моделирования или языки проектирования, которые применяют для порождения возможных ситуаций в системе, возможных вариантов решения и часто – как вспомогательное средство формирования нижних уровней иерархической структуры как при моделировании структуры целей, так и при моделировании организационных структур. Примерами таких языков служат: системно-структурные языки (язык функций и видов структуры, номинально-структурный язык), язык ситуационного управления, языки структурно-лингвистического моделирования.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

7.3. ФОРМИРОВАНИЕ И ОРГАНИЗАЦИЯ РАБОТЫ

ЭКСПЕРТНЫХ ГРУПП

Для формирования и организации групп экспертов создается группа специалистов-аналитиков, задачами которой являются разработка метода и модели опроса, отбор экспертов, проведение опроса, анализ и обобщение информации. Группа аналитиков должна обеспечить условия для наиболее плодотворной деятельности экспертов как за счет разработки наиболее эффективной системы контактов с ними и внутри группы экспертов, так и путем выбора процедуры опроса, наиболее соответствующей характеру проблем.

При формировании коллектива экспертов группе специалистованалитиков необходимо комплексно рассмотреть ряд вопросов, связанных с обеспечением эффективности решаемых проблем, достоверности оценивания, учетом и анализом индивидуальных характеристик экспертов и совершенствованием процедур групповых экспертиз. Эффект-

94

ность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее. Повышение достоверности за счет увеличения числа экспертов и туров опроса приводит к увеличению затрат. Отсюда следует проблема процедуры подбора группы экспертов: определение числа экспертов в группе для обеспечения приемлемой достоверности при минимальных затратах на экспертизу или определение числа экспертов для обеспечения максимальной достоверности при ограниченных затратах на экспертизу.

Для определения количества экспертов существуют методики, основанные на устойчивых взаимосвязях количества экспертов в группе с достоверностью экспертизы [2, 19, 26].

Вкачестве характеристик экспертов используют: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, конструктивность мышления, коллективизм, самокритичность.

Компетентность – это степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворности деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития.

Впрактике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. В рамках этого подхода компетентность экспертов оценивается коэффициентом компетентности, который вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Существуют подходы к оценке компетентности экспертов, основанные на апостериорных оценках, т.е. на предыдущих результатах работы эксперта.

Креативность – это способность решать творческие задачи.

«Единственный способ определить границы возможного – выйти за эти границы». (Артур Кларк)

95

В настоящее время кроме суждений, основанных на изучении деятельности эксперта, каких-либо предложений по количественной оценке этой характеристики нет.

Отношение к экспертизе. Негативное или пассивное отношение специалиста к решению конкретной проблемы, большая занятость и другие факторы существенно влияют на выполнение своих функций экспертами.

Конформизм – это подверженность влиянию авторитетов, неустойчивость собственного мнения. Особенно сильно конформизм может проявиться при проведении экспертизы в видеоткрытых дискуссий.

Аналитичность и широта мышления. Специалист, имеющий глубокие знания, но обладающий «профессиональной слепотой», не может качественно решать проблемы, требующие взгляда, выходящего за рамки сложившихся представлений. «Кто не понимает ничего,

кроме химии, тот и её понимает недостаточно». (Г.К. Лихтенберг)

Конструктивность мышления – это прагматический аспект мышления. Эксперт должен давать решения, обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания. Существуют квалифицированные специалисты со слабо выраженной прагматической направленностью.

Чувство коллективизма должно учитываться при проведении открытых дискуссий. Этика поведения, человека в коллективе экспертов во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рас-

сматриваемой проблеме. «Помимо нашей способности к суждениям мы обладаем ещё и нашим мнением о нашей способности судить». (Ф. Ницше)

Собрать и обобщить такой объём сведений об экспертах непро-

сто, поэтому в ряде случаев прибегают к обобщённым характеристи-

кам экспертов, учитывающим его качества, с одной стороны, и до-

96

пускающие непосредственное измерение, с другой стороны. В каче-

стве такой характеристики можно принять достоверность суждений эксперта, определяемую на основе информации о прошлом опыте участия эксперта в решении проблем. Именно эта характеристика оп-

ределяет эксперта как «измерительный прибор».

Количественно достоверность суждений эксперта оценивают соотношением

Di Nn ; i 1,2,...m ,

N

где Nn – число случаев, когда i-тый эксперт дал решение, приемле-

мость которого подтвердилась практикой, N – общее число случаев участия i-того эксперта в решении проблемы.

Можно также учесть вклад каждого эксперта в достоверность суждений всей группы. Эта относительная достоверность Diотнопре-

деляется по формуле

m1 Di i 1

где т – число экспертов в группе. В знаменателе стоит средняя дос-

товерность группы экспертов.

Основными характеристиками группы экспертов являются: дос-

товерность экспертизы и затраты на нее. Обе эти характеристики оп-

ределяют количество экспертов в группе и долевой состав различных специалистов в группе.

Одним из распространенных способов оценки компетентности группы, которая характеризует априорную достоверность результатов экспертизы, является способ групповой самооценки. На первом этапе проводится анкетирование экспертов для получения индивидуальных самооценок. В анкетах экспертам (кандидатам в эксперты) предлага-

ется дать оценки в баллах на определенное количество вопросов в ог-

раниченный достаточно короткий промежуток времени.

97

Получив данные об индивидуальной самооценке, можно рассчи-

тать среднюю групповую самооценку путем деления суммы индиви-

дуальных самооценок по каждому вопросу на число экспертов в группе. В результате получается численный индекс, характеризую-

щий объем знаний, которым, по мнению группы, она обладает по данному вопросу.

Практика экспертиз показывает, что хотя методы самооценки не-

достаточно точны для того, чтобы служить единственным критерием выбора экспертов, использование таких методов дает возможность выполнить предварительный отбор группы наиболее компетентных специалистов. Имеются данные, подтверждающие наличие связи ме-

жду групповой самооценкой и точностью экспертиз.

При подборе и оценке числа экспертов нужно учитывать еще од-

но ограничение, касающееся соответствия целей экспертов целям экспертизы. Группа не должна состоять из представителей одной уз-

кой специальности, так как в этом случае их мнение будет в опреде-

ленной степени тенденциозным. При отборе экспертов необходимо также принимать во внимание характер экспертизы: степень сложно-

сти и остроты обсуждаемой проблемы, квалификацию и опытность экспертов, иногда даже их личные отношения.

Необходимо отметить важность соответствующей тренировки и обучения кандидатов в эксперты. Так, при отсутствии данных о резуль-

татах использования того или иного специалиста как эксперта можно с целью определения его компетентности провести специальные экспе-

рименты. Для этого нужно подготовить вопросы о «достоверных» со-

бытиях, которые выбираются так, чтобы участники эксперимента не знали истинных ответов, но чтобы они располагали «фоновой» инфор-

мацией, достаточной для выбора числовой оценки альтернатив.

98

7.4. МЕТОДЫ ПОЛУЧЕНИЯ ЭКСПЕРТНЫХ ОЦЕНОК

Метод парных сравнений. Эксперту последовательно предъявляются пары альтернатив, в зависимости от целей экспертизы для каждой пары альтернатив предлагается указать, какая из альтернатив более предпочтительна, или указать, может ли данная пара альтернатив принадлежать одному классу. Если предпочтения эксперта удовлетворяют свойству транзитивности и сравниваются все пары альтернатив, то получаем ранжирование (отношение линейного порядка). Если относительно части альтернатив эксперт затрудняется указать, какая из двух альтернатив предпочтительней, считая их несравнимыми, то получаем лишь частичное упорядочение альтернатив. Для устранения указанного недостатка необходима дополнительная идентификация альтернатив.

Ранжирование. Достаточно распространенной процедурой получения экспертной информации является непосредственное ранжирование вариантов. Эксперту предъявляется весь набор вариантов, подлежащих оцениванию (но не более 20-30), и предлагается упорядочить их по предпочтениям. Ранжирование вариантов может осуществляться различными способами. Приведем в качестве примера два способа ранжирования. При первом способе эксперту предъявляется весь набор вариантов и предлагается указать наиболее предпочтительный или не менее предпочтительный, чем все остальные. Данный вариант из дальнейших рассмотрений исключается – его ранг определен. Затем среди оставшихся вариантов эксперту предлагается указать вариант, наиболее предпочтительный или не менее предпочтительный, чем остальные. Тем самым определяется ранг следующего варианта. Процесс продолжается до тех пор, пока каждому из рассматриваемых вариантов не будет назначен соответствующий предпочтениям эксперта ранг.

При втором способе ранжирования эксперту предъявляется часть вариантов (например, два) и предлагается упорядочить их по предпочтениям. Затем добавляется один новый вариант и эксперту пред-

99

лагается указать его место среди уже проранжированных вариантов. Процесс заканчивается, когда проранжированными оказываются все рассматриваемые варианты.

При ранжировании могут возникать определенные трудности. Эксперт может считать некоторые варианты несравниваемыми. В этом случае возможно лишь частичное упорядочение.

Множественные сравнения отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки и т.д. вариантов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от цели экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированиями. С одной стороны они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения, а в результате одновременно соотнесения конкретного варианта не с одним, а с большим числом вариантов. С другой стороны при ранжировании вариантов может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Классификация. Если целью обращения к эксперту является разбиение вариантов на классы, наряду с методом парных сравнений могут использоваться другие способы классификации, как, например, эксперту можно предъявить все множество рассматриваемых вариантов и предложить непосредственно указать разбиение их на классы. Или так же, как и при ранжировании, эксперту можно предъявить подмножество рассматриваемых вариантов, которые он должен разбить на классы. После того, как эксперт сделает это, ему предъявляется новый вариант, который он должен либо отнести к одному из выделенных классов, либо образовать новый класс. Процесс заканчивается, когда каждый из вариантов окажется отнесенным к одномуиз классов.

Непосредственная численная оценка вариантов является рас-

пространенным приемом в практике получения количественной экс-

100