1.5. Документальные оценки

В. М. Григоров в своей работе выделяет груп­пу факторов, влияние которых на качество эксперта может быть оценено объективно, т. е. в значительной степени не­зависимо от чьего-либо мнения. Внешне объективность этих факторов находит отражение в том обстоятельстве, что каждый из них может быть документально подтвержден. В связи с этим оценку качества экспертов, полученную на основе учета этих факторов, для краткости также называют документальной. Кроме подобного рода факторов, отмечен­ных в работе О. Хелмера:

- число лет рабо­ты,

- количество публикаций,

- профессиональный статус

В. М. Григоров предлагает учитывать:

- наличие у него изо­бретений,

- владение иностранными языками,

- участие в кон­ференциях, совещаниях, симпозиумах,

- возраст,

- состояние здоровья, отражающиеся на работоспособности эксперта,

- физические недостатки и т. д.

Конечно, каждый из перечисленных здесь факторов каким-то образом влияет на оценку качества эксперта, но характер этого влияния в ко­личественной форме пока еще для каждого фактора в отдель­ности не выявлен.

Поэтому были сделаны попытки дать документальную оценку качества эксперта в комплексе без разбивки на отдельные факторы. Так, Р. Хофши и Д. Корш, приняв, что компетентность обусловливает занимае­мое специалистом служебное положение, разработали прин­ципы количественной оценки места, занимаемого экспертом в служебной иерархии. При этом предполагается, что пере­численные выше факторы аккумулируются в служебном статусе специалиста.

Однако, в настоящее время еще от­сутствуют условия для эффективного применения докумен­тальных оценок. Связано это с двумя обстоятельствами:

1. большая часть факторов, влияющих на документальную оценку, в той или иной степени уже учитывается при взаимо­оценке и других частных оценках;

2. влияние факторов до­кументальной оценки очень сильно зависит от области ра­боты эксперта.

Однако разработка надежной методики документальной оценки качества эксперта остается задачей актуальной.

1.6. Комбинированные оценки

Ни один из существую­щих методов эвристической, статистической, тестовой или документальной оценки сам по себе не может достаточно полно характеризовать качество эксперта с учетом всех тех его свойств, которые отражены выше на рис. 1.1.

Такая полная характеристика качества может быть получена на основе совместного использования различных методов путем вычисления комбинированной оценки. По­лучение этой оценки базируется на следующих исходных положениях:

1. Качество эксперта представ­ляет собой иерархическую структуру свойств, каждое из которых может быть количественно охарактеризовано. Одним (или несколькими) из четырех видов частных оце­нок (эвристических, статистических, тестовых и докумен­тальных). Следовательно, в соответствии с принципами квалиметрии оценка качества эксперта должна быть величи­ной комплексной, зависящей от частных оценок.

2. Из всех видов частных оценок на сегодняшний день достаточно разработаны и подготовлены к широкому при­менению на практике только три эвристические оценки (самооценка, взаимооценка и оценка рабочей группой) и две статистические оценки (оценка отклонения от сред­ней и оценка воспроизводимости результата). Пять этих частных оценок и целесообразно применять для вычисления комплексной оценки качества эксперта. Остальные част­ные оценки - тестовые, документальные, а также статис­тическая оценка беспристрастности и эвристические оцен­ки аргументированности и знакомства с анализируемой продукцией в настоящее время еще недостаточно разрабо­таны для их широкого использования.

3. Для сведения частных оценок в комплексную оцен­ку целесообразно использовать формулу средней арифме­тической.

4. Весомость частных оценок может быть определена группой специалистов, профессионально занимающихся методологией экспертных методов.

Исходя из указанных положений, комплексную оценку качества эксперта можно рассчитать по формуле

К_Э=М_сам∙К_сам+ М_вз∙К_вз+ М_рг∙К_рг+ М_ос∙К_ос+ М_вр∙К_вр

где М_сам, М_вз, М_рг, М_ос, М_вр – весомости соответствующих частных оценок.

Для определения этих весомостей была сформирована экспертная группа в составе 12 специалистов по методо­логии экспертных способов, включающая инженеров, ма­тематиков, социологов и экономистов. В процессе обсуж­дения весомостей эксперты не внесли корректив в пере­чень частных оценок, что косвенным образом подтверждает ее правильность. С уче­том определенных ими коэффициентов весомости формула принимает вид

К_Э=0,14К_сам+ 0,21К_вз+ 0,13К_рг+ 0,22К_ос+ 0,30К_вр

Анализ частных оценок, полученных экспертом, может влиять на эффективность его работы. Так, низкая оценка рабочей группой К_рг в сочетании с высокой самооценкой К_сам позволяет сделать вывод о недостаточно серьезном отношении к работе; высокая воспроизводимость К_вр и высокая оценка рабочей группой К_рг в сочетании с низ­кой оценкой отклонения от средней К_ос свидетельствуют о неправильной информированности эксперта.

Если комбинированная оценка качества эксперта К_э используется при обработке результатов экспертного оп­роса (например, при обобщении индивидуальных эксперт­ных оценок), то для вычисления оценки К_ос обычно имеется необходимый статистический материал; такой же мате­риал сравнительно просто может быть получен для опре­деления оценки К_вр. Достаточно через некоторый проме­жуток времени провести повторный опрос экспертов. Лег­ко выявить и оценку К_рг. Иногда необходимая для вычис­ления оценок К_ос и К_вр статистика может быть взята из материалов прошлых экспертиз (если состав экспертной группы и характер продукции были теми же самыми).

Когда оценка качества эксперта К_э, нужна для выбора лучших из числа кандидатов в экспертную группу, т. е. до начала экспертизы, и нельзя получить оценки К_рг, К_ос и К_вз можно ограничиться упрощенной комбиниро­ванной оценкой, зависящей только от самооценки К_сам и взаимооценки К_вз

К_Э=0,4К_сам+ 0,6К_вз

Необходимо отметить, что, кроме изложенных выше, могут быть предложены и другие способы оценки каче­ства эксперта К_э. Например, Ю. В. Киселев рас­сматривает случай, когда эксперты каким-то способом (оче­видно - эвристическим) проранжированы в порядке убы­вания их оценки качества К_э. Он предлагает следующую формулу для вычисления оценки качества j-го эксперта К_j.

Однако, строго говоря, пред­ложение Ю. В. Киселева не относится к комбинированным оценкам.

Выше был рассмотрен вопрос о способах определения оценок качества экспертов. Однако некоторые авторы счи­тают ненужным использование таких оценок. В подтверждение этого положения приводятся следующие доводы: произвол в определении оценок, не­возможность сохранения их в тайне, возникающие при этом обиды. Рассмотрим эти доводы. Произвол в опре­делении оценок качества экспертов свидетельствует не об их ненужности, а о необходимости разработки достаточ­но объективных методов. Сохранение тайны не представ­ляет каких-либо особых трудностей, так как сам характер использования оценок не требует ознакомления с ними экспертов. Довод, касающийся возможности возникнове­ния обиды у некоторых экспертов, является более серьез­ным. Действительно, получение частных оценок качества эксперта (особенно - эвристических) - процедура до­вольно сложная в психологическом отношении. Она требует де­ликатного подхода и обеспечения уверенности участников в конфиденциальности результатов. Как показывает прак­тический опыт, очень полезным средством, исключающим возможные обиды, является разъяснение экспертам целей оценки качества.