4.2 Недостатки и возможные ошибки экспертного оценивания

Зачастую, при появлении нового метода исследования, наступает ощущение эйфории и все стараются использовать его в самых неожиданных областях. При этом выясняется, что применение метода приводит к большим ошибкам или просто к неверным результатам. В этом случае начинается охаивание и отторжение метода. Так, например, произошло с теорией информационной энтропии, когда Шеннону пришлось выступить со знаменитой статьей “Information Theory isn’t Band Wagon”, в которой он предостерегал от неоправданного распространения теории на экономику и социологию. Примерно то же самое происходит с применением экспертных оценок. Далеко не все проблемы могут быть решены с помощью экспертов. Достаточно проанализировать долгосрочные прогнозы Римского института, при высочайшем уровне экспертов (лучшие в своей области), уровень выполнения прогнозов, при глубине прогноза десять лет, не превышает 50 %. Поэтому необходимо представлять характер возможных ошибок и стараться избегать их при процедуре экспертного оценивания.

А. Ошибки при подготовке экспертизы.

А1. Излишнее увлечение здравым смыслом по принципу «я знаю все сам».

Однако ЛПР не может одинаково профессионально знать все возникающие проблемы. Примеры: решение Лигачева об антиалкогольной компании, гонение на генетику при Лысенко, то есть следует соблюдать принцип, что нельзя экономить при прицеливании при стрельбе.

А2. Использование некомпетентных экспертов. Это происходит при недостаточно серьезном отношении к проведению экспертизы, плохой информированности о компетентности экспертов, желании потратить минимум средств и т.п.

А3. Нечеткая постановка задачи или отсутствие корректной априорной информации.

А4. Стремление остаться в рамках одной экспертной процедуры. Чаще всего, один тур не может дать ответ на поставленные вопросы. Иногда даже следует организовать параллельную работу нескольких экспертных комиссий или объединять разные экспертные методы.

Названные ошибки возникают на первых двух этапах и могут дискредитировать саму идею возможности экспертного оценивания. Поэтому компетентность всех участников экспертизы, владение тонкостями технологии проведения экспертизы являются необходимыми условиями успеха.

Б. Теперь рассмотрим ошибки, которые могут возникнуть на этапе проведения экспертизы и оценки ее результатов.

Б1.Нарушение принципов теории измерений. При использовании шкалы предпочтений значения выставленных баллов не являются числовой оценкой. Разница в свойствах никак не определяется расположением в ранжированном ряду. Во избежание подобных ошибок шкала должна быть не менее слабой, чем шкала интервалов. При групповой оценке может нарушаться принцип транзитивности нарушаться принцип транзитивности, когда первый эксперт считает, что А П В, второй, что В П С, а третий считает что С П А ! В этом случае эксперты пользуются разными критериями предпочтения. В настоящее время разработаны методы, уменьшающие разночтения, возникающие при парных сравнениях (Л.10).

Б2. Стремление учесть многокритериальность. В процессе экспертного оценивания приходится учитывать многокритериальность оценок. При этом прибегают к введению коэффициентов значимости, т.е. прибегают к методу свертки. Точность полученных результатов оценить очень трудно. Если взвешиваемые критерии имеют разную физическую природу, то ошибка вообще не может быть оценена. Поэтому использование метода свертки должно быть четко регламентировано и возможно только в случае полной уверенности в его необходимости.

Б3.Неточность процедуры коллективного отбора. Необходимо избегать применения правила простого большинства, так при большом числе экспертов может возникнуть ситуация когда один из объектов поставлен на первое место двумя экспертами, а всеми другими на одно из последних мест, в то время как другие при среднем оценивании могут оказаться выше. Чтобы избежать такой ситуации следует пользоваться процедурой ранжирования, а не простым указанием предпочтения для отдельного эксперта.

Б4. Организация информационного взаимодействия. Пополнение априорной информации должно происходить не только за счет поступления новой внешней информации, но и за счет получения информации о решениях всех экспертов на предыдущем туре экспертизы.

Б5.Конформизм или конъюнктурность экспертов. Конформизм заключается в пассивном приятии мнения большинства или авторитета, предположим, что почти все эксперты поставили высший балл, а один наиболее авторитетный низкий и остальные эксперты согласились с мнением одного. Конъюнктурность заключается в получении выгоды для себя или представляемой организации, например, эксперт, представляет фирму, заинтересованную в финансировании.

Б6.Неправильная обработка результатов экспертизы. При оценивании один и тот же параметр может получить разные оценки. Проблема состоит в оценке точности полученного результата. При этом каждый эксперт мог пользоваться своим критерием. Например, можно точность определять как разность между истинным значением - И, и оценкой эксперта- Э, можно определять как логарифм их отношения, можно определять как отношение разности к истинному значению. Этот недостаток устраним за счет четкой организации экспертизы.

Б7.Некорректная интерпретация результатов. Иногда результаты экспертизы используются как исходные данные для корректных аналитических моделей. Подобная практика приводит к ошибкам излишней формализации. Так, например, методы математического программирования требуют задания входной информации в самой мощной статистической шкале отношений, в то время как, результаты экспертизы определены в шкале предпочтений или, в лучшем случае, в шкале разностей. Иногда, результаты экспертизы носят формальный характер, когда конечный результат очевиден и все будет решено в пользу определенной организации. Это типичный случай управляемой экспертизы, когда необходимо лишь соблюсти правила игры.

Для повышения эффективности и точности экспертизы, необходимо четко пользоваться правилами составления дерева свойств (см. параграф 2.3), помня при этом, что при многокритериальной экспертизе надо удовлетворить ряду условий, делающих экспертизу корректной. В числе этих условий следует назвать:

1. Полнота свойства, входящие в набор характеристики должны обеспечивать адекватную оценку объекта.

2. Однозначность свойства, смысл характеристики должен одинаково пониматься и экспертами и ЛПР.

3. Минимальная размерность. В набор свойств должны включаться только те, без которых оценка невозможна.