Тема 2.2. Экспертное оценивание

В тех случаях, когда использование технических средств измерений невозможно, сложно или экономически неоправданно, широкое распространение получил экспертный метод. Разновид­ностями экспертного метода являются органолептический и социоло­гический методы.

Под экспертным оцениванием понимают систему логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

Сущность метода экспертных оценок заключается в проведении специально сформированной группой экспертов многоэтапной проце­дуры интуитивно-логического анализа проблемы с количественной оценкой их суждений и формальной обработкой полученных результатов.

Характерными особенностями метода экспертного оценивания как одного из научных подходов к решению неформализуемых или слабоформализуемых проблем являются следующие:

научно обоснованная организация проведения всех этапов экспертного оценивания;

применение количественных методов как при организации экспертного оценивания, так и при оценке суждений экспертов и формальной групповой обработке полученных результатов.

При проведении экспертизы используются следующие основные методы опроса экспертов (методы получения экспертной информации):

дискуссионные методы;

методы коллективной генерации идей («мозгового штурма», «мозговой атаки»).

метод «адвоката дьявола» - проверяется доброка­чественность решений;

метод кибернетических сессий — участники разбиваются на секции и разрабатывают решения, затем решения обсуждаются при известных решениях других секций; итоги подводятся всеми вместе.

метод «дилетантов» - привлекаются специалисты из других областей (дилетанты в данной области);

методы анкетирования — система экспертных оценок с обратной связью (многократный анонимный опрос экспертов);

игровые методы - строится имитирующая реальную ситуацию игра, в ходе которой участники принимают решения, после чего итоги обсуждаются.

Дискуссия как правило проводится на первом (начальном) этапе изучения проблемы для выявления возможных путей ее решений. Метод анкетирования следует использовать на более поздних этапах экспертизы.

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Процедура дискуссии с участием экспертов (10-30 человек) условно может быть разделена на три этапа:

определение и формулирование предмета дискуссии и порядка ее проведения, подготовка участников (ознакомление их с проблемой);

проведение дискуссии;

подведение итогов, регистрация и обработка результатов

дискуссии.

Мозговая атака (штурм) — метод получения, генерации новых идей, решений каких-либо проблем в результате коллективного творчества группы специалистов в ходе заседания, проводимого по определенным правилам.

Принципиальная особенность рассматриваемого метода состоит в том, что в ходе заседания (сеанса) запрещается какая-либо оценка и критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и ,возможно, нелогичными.

Анкетирование является эффективным и распространенным видом опроса, так как наилучшим образом осуществляет сочетание информационного обеспечения экспертов с их самостоятельностью и творческой активностью. Конечно, полной независимости суждений эксперта не дает и этот метод. Здесь также могут сказываться интересы его ведомства, организации, известные эксперту позиции некоторых авторитетов, о которых он знает или от которых в опреде­ленной мере зависим. На опрашиваемого могут оказывать влияние и сами составители анкет, другие участники опроса.

Метод анкетирования заключается в предъявлении экспертам опросных листов-анкет, на вопросы которых они должны дать ответы в письменной форме либо при использовании технических средств (ЭВМ, сетей персональных компьютеров, в которые необходимо ввести требуемые решения, оценки и т.п.).

Анкеты имеют обычно форму таблиц. Анкетирование может быть очным и заочным. В первом случае заполнение анкет (ввод данных в ЭВМ) производится экспертом в присутствии заказчика, представителя группы управления.

Независимо от целей и задач применения экспертного метода (ЭМ) предполагается выполнение следующих условий:

экспертное оценивание должно производиться только в случае, когда нельзя использовать более объективные методы;

в работе экспертов не должно быть факторов, снижающих искренность суждений, причем мнения экспертов должны быть независимыми;

формулировка вопросов не должна допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах; количество экспертов должно быть оптимальным; ответы должны быть однозначными и пригодными к мате­матической обработке.

Подготовленность экспертной группы — важное условие эффек­тивности экспертного метода. Подбираются высокопрофессиональные специалисты по заданной теме.

В начале работы проводится инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести: тестирование; самооценку; взаимооценку; анализ их надежности; проверку согласованности мнений.

Под самооценкой подразумеваются ответы в строго ограниченное время на вопросы специальной анкеты. Ответы проверяются самими же экспертами по балльной системе. Эксперты группы с высшим баллом ошибаются редко.

При взаимной оценке учитывается опыт совместной работы.

Степень надежности понимается как отношение случаев, когда мнение данного эксперта совпало с общим к числу экспертиз, в которых он участвовал.

Согласованность мнений оценивается коэффициентом конкордации, изменяющимся от О до 1 (1 - полное единодушие). Если согласованность мнений экспертов неудовлетворительна, принимают специальные меры для ее повышения. Сводятся они в основном к проведению тренировок с обсуждением результатов и разбором ошибок.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерений повышается. Исходная численность экспертной группы обычно не менее 7.

Организационно процедуры проведения экспертного оценивания могут включать в себя несколько этапов. При этом для проведения экспертного оценивания той или иной неформализуемой (слабоформализуемой) проблемы лицами, отвечающими за ее решение (или ЛПР — лица, принимающие решение), заранее формируется штаб руководства экспертным оцениванием, в состав которого входит группа управления экспертным оцениванием и ЛПР.

Первым этапом экспертного оценивания является подготовка (разработка руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В документе отражаются следующие вопросы:

постановка задачи экспертного эксперимента; цели эксперимента;

обоснование необходимости проведения экспертизы; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ. Данный документ готовится в штабе руководства экспертным оцениванием.

На втором этапе группа управления осуществляет работу по подбору экспертной группы и решение при этом следующих задач: уяснение решаемой проблемы;

определение перечня областей деятельности, связанных с решаемой проблемой;

определение долевого состава экспертов по каждой области деятельности;

определение количества и предварительного состава экспертов в группе;

анализ квалификации экспертов и уточнение списка экспертов в группе;

получение согласия экспертов на участие в работе;

составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления, организующие проведение экспертного оценивания, руководствуются следующими основными требованиями, предъявляемыми к эксперту:

компетентность степень его необходимой квалификации в заданной предметной области, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализом предыдущей деятельности;

креативность - способность решать творческие задачи, методы решения которых неизвестны;

эвристичность - способность находить и формулировать очевидные проблемы;

аналитичность и широта мышления; конструктивность мышления - способность формировать решения, обладающие свойством практичности (прагматизм);

независимость - способность отстаивать свое мнение;

самокритичность эксперта, которая заключается в его способности к самооценке своей компетентности.

Указанные требования, предъявляемые к личности эксперта, достаточно полно определяют необходимые качества, которыми должен обладать эксперт и которые влияют на успех решения задачи экспертного оценивания.

Третий этап экспертного оценивания связан с конкретной разработкой организации и методики проведения опроса экспертов. При этом решаются следующие вопросы:

место и время проведения опроса;

количество и задачи туров (этапов) опроса;

форма проведения опроса;

содержание вопросов и количественная (качественная) оценка их экспертом;

порядок фиксации и сбора результатов опроса;

состав необходимых документов.

На четвертом этапе экспертного оценивания группа управления проводит планирование процесса организации и обработки данных, получаемых от экспертов. На этом этапе необходимо определить:

задачи и сроки обработки информации;

процедуры и алгоритмы обработки;

силы и средства для проведения обработки.

На пятом этапе осуществляется непосредственно опрос экспертов и обработка полученных результатов. Группа управления на этом этапе проводит комплекс работ в соответствии с разработанным планом. Производится оценка согласованности мнений экспертов, и в случае существенных разногласий между экспертами проводится коррекция разработок подготовительного этапа.

Шестой этап является завершающим, и на этом этапе производится:

анализ результатов экспертного оценивания;

составление отчета; обсуждение результатов;

представление итогов работы на утверждение ЛПР;

ознакомление с результатами экспертизы заинтересован­ных организаций и лиц.

Работа выполняется группой управления. Если результаты экспертизы окажутся неудовлетворительными, то обычно проводится повторная экспертиза.

С учетом способа проведения экспертизы различают следующие методы обработки данных:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях значения показателей качества определяются сразу в установленных единицах. Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее строгие требования.

Ранжирование состоит в расстановке объектов измерения или показателей качества в порядке их предпочтения по важности, весомости. Место, занятое при такой расстановке, называется рангом.

Сопоставление бывает последовательным и попарным. Последовательное сопоставление предполагает сравнение каждого объекта с совокупностью остальных, которые ниже рангом; применяется тогда, когда несколько объектов можно рассматривать как один составной объект той же природы.

Попарное сопоставление самое простое и наиболее справедливое с психологической точки зрения. Чтобы не отдавать предпочтение первому объекту из пары, каждый объект сравнивают со 2, 3, 4, затем второй с 1, 3, 4, а 3 с 1, 2, 4. Таким образом, каждая пара сравнивается дважды, такое сопоставление называется полным или двойным.

Мнения экспертов выясняют путем их индивидуального или группового опроса.

При решении задачи оценивания перед ними могут быть поставлены следующие задачи:

1. Провести ранжирование однородных объектов по степени выраженности заданного показателя качества.

2. Дать количественную оценку показателей качества продукции в условных единицах или оценить веса этих показателей.