Модернизация технических систем методология и технология выбора решений. Монография

опыт, ценностные установки оказывают решающее влияние при формировании их мнения.

Считается, что хороший эксперт должен быть компетентным в своей профессии, деловитым, добросовестным, объективным и тактичным. При этом под компетентностью эксперта понимается его способность не только решать на практике свои профессиональные задачи, но и быть источником информации об объекте экспертизы.

Мнение эксперта оформляется в виде документа — экспертного заключения, в котором фиксируются ход исследования объекта и его итоги. Обязательно указываются методы, применяемые в ходе экспертизы, полученные данные (в свернутом виде), а также выводы и рекомендации. Все это служит основанием для принятия решения по итогам экспертизы.

Для того, чтобы получаемая в процессе экспертного оценивания информация от эксперта была качественной, необходимо, чтобы:

сам эксперт получал в достаточном объеме достоверную информацию об изучаемом объекте;

ему были созданы условия для обработки информации;

во время проведения экспертизы был бы благоприятный психологический климат, отсутствовало «давление» на эксперта.

П.2. Оценка компетентности эксперта

Одной из типичных ошибок, случающихся при проведении экспертного опроса, является привлечение некомпетентных экспертов. Вместе с тем, от компетентности экспертов во многом зависит результат работы экспертной группы.

Причинами, приводящими к использованию недостаточно компетентных экспертов, чаще всего бывают:

недостаточная информация о личностно-деловых и профессиональных знаниях экспертов;

111

отсутствие возможностей (финансовых, организационных и т.д.) привлечения высококвалифицированных экспертов;

недостаток времени у организаторов экспертного оценивания при формировании экспертных групп;

желание некоторой части организаторов экспертизы

впривлечении таких экспертов, которыми легко было бы «управлять», манипулировать;

непонимание целей экспертизы и специфики объекта экспертизы;

не владение экспертами методологией оценивания и отсутствие опыта проведения экспертиз и т.д.

Все методы оценки качества экспертов, существующие в настоящее время, делятся на 3 большие группы: априорные, апостеорные и тестовые (рис.П.3)

Априорными (априори — от лат. apriori, предшествующий — знание, предшествующее опыту и не зависимое от него) называют методы оценки качества эксперта, при которых отсутствует информация о результатах его участия

впредшествующих экспертизах. К этим методам в первую очередь относятся методы самооценки и взаимооценки.

Методыоценкикомпетентностиэкспертов

Рисунок П.3. Методы оценки компетентности экспертов

Метод самооценки. Эксперту предлагают разработанные организаторами экспертного оценивания анкеты, и эксперт, отвечая на поставленные вопросы, ранжируя

112

предложенные показатели информативности, проводит самооценку своих возможностей, знаний, опыта и т.д.

Содержание анкет разрабатывается в соответствии с целью и спецификой объекта экспертизы. На основании полученных от эксперта ответов рассчитывается коэффициент самооценки.

Кроме того, эксперту предлагается одна из анкет, нацеленная на определение уровня аргументированности его ответов. В ней указывают варианты источников аргументации (например: опыт участия в экспертизе по аналогичной проблеме, наличие собственных исследований по теме экспертизы, регулярное знакомство с периодической литературой и т.д.) и по результатам ответов экспертов рассчитывается коэффициент аргументированности.

Комплексная самооценка эксперта определяется по формуле:

Кк = (Ка +С Кз) /2,

где Кк — комплексная самооценка эксперта; Ка — коэффициент аргументированности;

Кз — коэффициент знакомства эксперта с проблемой; С — коэффициент весомости (определяется с учетом

специфики объекта экспертизы)

Метод взаимооценки. Каждый из участвующих в экспертизе экспертов составляет список специалистов, которых он считает экспертами в данной проблеме. Коэффициент компетентности эксперта определяется в этом случае как отношение числа списков, в которых данный эксперт присутствует, к общему числу списков. Разновидностью метода взаимной оценки является метод взаимных рекомендаций. Данные опроса заносятся в таблицу (табл. П.1) и на основе взаимных рекомендаций определяется коэффициент взаимных рекомендаций.

К апостериорным (апостериорным называется знание, полученное опытным путем) методам оценки качества эксперта относятся методы, основанные на результатах его участия в предыдущих, либо специально

113

организованных, экспертизах. Такими методами являются методы контрольных экспертиз и комплексный. Показателем оценки качества эксперта выступает коэффициент достоверности эксперта, определяющий частоту успешно проведенных экспертиз. Большее значение коэффициента достоверности соответствует более качественному эксперту. Путем попарного сравнения коэффициентов достоверности проводится отбор в группу экспертов.

Таблица П.1

Оценка компетентности экспертов методом взаимных рекомендаций

Тестовые методы оценки эксперта используются для определения пригодности специалиста к деятельности эксперта. При этом тесты разрабатываются таким образом, чтобы выявить не только уровень профессионализма и компетентности претендента в эксперты, но и его лич- ностно-деловые качества и опыт.

П.3. Формы и методы организации и проведения экспертиз

Используемые формы проведения экспертиз делятся на индивидуальные и групповые. Все методы оценивания нацелены, в первую очередь, на получение достоверной экспертной информации.

На рис.П.4 показаны наиболее часто встречающиеся на практике методы экспертного оценивания. Их использование организаторами экспертиз должно опираться на знание достоинств и недостатков тех или иных методов, а также учитывать ресурсы и решаемые в процессе экспертного оценивания задачи.

114

В таблице П.2 приведены преимущества и ограничения общие в индивидуальных и групповых методах экспертного оценивания, а ниже излагается содержание конкретных методов с указанием возможностей их применения на практике.

Методыэкспертногооценивания

Рисунок П.4. Методы экспертного оценивания

Таблица П.2

Характеристика индивидуальных и групповых методов экспертного оценивания

115

Сопоставление достоинств и недостатков методов оценивания используемых в индивидуальных и групповых формах, показывает, что коллективная экспертиза приводит к повышению надежности экспертных оценок, т.к. дает более полное представление о проблеме и объекте экспертизы, выявляет различные точки зрения (дает «веер» оценок), что, без сомнения, повышает надежность экспертизы и приводит к объективизации оценок. Однако для организаторов экспертизы групповая форма является более сложной, т.к. требует дополнительного создания процедур и методов проведения экспертного оценивания.

Одним из наиболее простых и широко распространенных методов получения экспертной информации является анкетирование. Анкетирование может быть очным (в виде интервью, собеседования) и заочным (эксперт отвечает на вопросы анкеты вне связи с организаторами).

Анкета — это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы.

От вида анкеты, ее структуры, содержащихся в ней вопросов, во многом зависит характер информации, получаемой от эксперта.

116

Основные требования к составлению анкет представлены в табл. П.3.

Очень важно, чтобы составители анкет последовательно шли к достижению цели, переходя от простых к более сложным и важным вопросам. Поставленные вопросы должны быть ясными, точными и однозначно понимаемыми. Возможен контроль (дублирование) вопросов. Недопустимо задавать внушающие вопросы, сдвоенные вопросы и содержащие нечеткости в известной части и вопросительной.

Если в анкете заложены критерии оценки, то такие анкеты называются оценочными.

Аналитическая записка — предполагает заключение эксперта по определенной теме (информации, проблеме), высказанное им в произвольной форме.

При проведении экспертизы с помощью метода сценариев организаторы составляют сценарии развития анализируемой ситуации. Экспертиза сводится к оценке предложенных сценариев.

117

Метод комиссий относится к групповой форме организации экспертизы и предусматривает открытую дискуссию с целью получения единого мнения у экспертов. Общее мнение по итогам дискуссии выявляется с помощью открытого или тайного голосования. К достоинствам данного метода можно отнести рост информированности экспертов в процессе обсуждения, быструю обратную связь с организаторами экспертизы, а наиболее весомым недостатком может стать давление авторитетом на группу экспертов или нежелание эксперта изменять свою точку зрения, даже если она неверна; а также отсутствие анонимности; различие в активности экспертов, не всегда связанное с их компетентностью.

Одним из широко применяемых методов экспертного оценивания является метод мозговой атаки. Цель экспертизы: выявить новые точки зрения, мнения, взгляды, идеи по определенной проблеме.

Основное требование — обсуждаемая проблема должна быть четко сформулирована и однозначно понята экспертами. После постановки проблемы все присутствующие высказывают свое мнение, при этом любая высказываемая экспертами мысль не может быть отвергнута или быть объявленной ложной, а должна быть обсуждена. Очень важна доброжелательная психологическая атмосфера при проведении мозговой атаки. Центральной фигурой, формирующей психологическую атмосферу, является лицо, проводящее мозговую атаку. Это может быть, как специально приглашенный для этого специалист, так и руководитель экспертизы.

Достоинства и недостатки данного метода экспертного оценивания те же, что и у предыдущего.

Наиболее распространенным методом группового экспертного оценивания является метод Дельфи, разработанный Хелмером и Делки. Чаще всего работа по выявлению экспертных знаний и формированию обобщенного мнения проводится в четыре тура.

На первом туре всем экспертам сообщается цель экспертизы и предлагаются анкеты с пояснительной запи-

118

ской. Помимо этого, каждому эксперту дается дополнительная информация об объекте экспертизы. Ответы на вопросы анкеты от эксперта поступают в аналитическую группу, где полученные данные обрабатывают. Отсекая крайние точки зрения, аналитическая группа формирует усредненное (обобщенное) мнение.

На втором туре экспертам предъявляется обобщенная оценка экспертов и обоснования тех экспертов, которые высказали крайние точки зрения. Причем, как обоснования, так и крайние точки зрения предъявляются экспертам анонимно. Получив данную информацию, все эксперты корректируют свои оценки и передают в аналитическую группу, где, как и в предыдущем туре, идет процесс формирования усредненного мнения.

Без сомнения, от тура к туру уменьшается разброс мнений экспертов, однако, проходя в условиях анонимности процедуры, обобщенное мнение формируется не за счет давления авторитетом. К достоинствам данного метода проведения экспертного оценивания можно также отнести быструю обратную связь и возможность постоянного пополнения информации об объекте экспертизы.

При экспертизе сложных и противоречивых объектов используется метод решающих матриц.

Каждому аспекту оцениваемого объекта приписывается вес в зависимости от его вклада в общую структуру объекта,α послеα чего всеαотносительныеα веса нормируются:

1 + … + na = 100 где 1… na — весовые коэффициенты.

В дальнейшем оценка ведется по каждому из оцениваемых аспектов объекта отдельно, тем самым заменяя сложную экспертную оценку более простыми.

Таким образом, все используемые методы экспертиз предусматривают выявление индивидуальных оценок экспертов, оценку согласованности мнений экспертов и формирование группового мнения экспертов через «усредненное» мнение или «взвешенное усредненное» мнение.

119

Обработка и анализ результатов экспертизы

После проведения опроса экспертов и получения результатов экспертизы приступают к их обработке. Выбор способа обработки экспертной информации определяется задачей экспертного оценивания, методом получения информации, типом шкалы имеющихся экспертных оценок, видом экспертизы (индивидуальная или групповая), а также информационной достаточностью экспертизы.

В случае высокой информационной достаточности эксперта можно формально рассматривать как «измеритель» с небольшими погрешностями. Это позволяет вести обработку и анализ экспертной информации с использованием хорошо разработанных методов математической статистики.

Если информационная база недостаточна, то эксперта формально уже нельзя рассматривать как «хорошего измерителя», так как в этом случае суждения экспертов существенно разнятся. В силу этого может оказаться верным (а зачастую именно так и бывает) мнение одного эксперта резко отличается от среднегруппового. Какоголибо универсального аксиоматического метода обработки результатов экспертизы в этом случае нет. Обычно используют эвристические методы обработки и анализа, которые требуют рассматривать мнение каждого эксперта как равноправное. Групповое мнение здесь ищется как компромиссное решение, которое наиболее близко ко всем имеющимся суждениям.

Экспертные оценки тенденций развития рассматриваемого типа ТС могут быть сделаны либо в качественных шкалах в виде элементарных суждений (сортировка, ранжирование, попарное сравнение), либо в количественных (балльные оценки, коэффициенты важности и т.д.).

Ранжирование и балльное оценивание являются наиболее широко употребительными в практике экспертного оценивания и наиболее простыми для выражения суж-

120