2.1.2 Оценка качества эксперта

Оценка качества эксперта может быть:

1. априорной – если в ней не используется информация о его участии в других экспертизах (т.е. эксперт оценивается априорно, до того, как он был использован в качестве эксперта);

2. апостериорной – если она использует такую информацию (основана на ней) и

3. тестовой – в форме специального тестового испытания, направленного на выявление необходимых качеств эксперта.

К априорным методам оценки относятся:

1. самооценка эксперта. Она может осуществляться с использованием различных видов шкал. Недостатком всех методов самооценки является то, что такая оценка тесно связана с уровнем самокритичности, что затрудняет ее интерпретацию. Достоинством является простота получения такой оценки.

2. взаимная оценка экспертов. Здесь, в свою очередь, потенциальным членам экспертной группы могут быть предложены различные методы оценки друг друга – балльные оценки, сравнительные оценки, простое формирование списков и т.п. (подробнее рассматривается далее). Полученные от разных экспертов оценки подлежат дальнейшей обработке для получения отдельной оценки для каждого эксперта. Т.е. такая оценка, в свою очередь, является групповой экспертной оценкой, и встает проблема ее обработки для получения общей оценки (см. далее). Такая оценка предположительно является более объективной, чем самооценка, но

• -процесс ее получения более сложен;

• кроме того, здесь также могут проявиться личностные и групповые симпатии и антипатии, что повлияет на объективность;

• и, наконец, различные эксперты по одному и тому же вопросу не обязательно хорошо знакомы с работами и возможностями друг друга. В современных условиях такое знакомство может быть лишь у специалистов, длительно работающих совместно. Однако их одновременное привлечение к экспертизе может быть не целесообразно, поскольку они слишком похожи друг на друга.

3. документационный метод (так называемый метод объективных оценок, или метод формальных показателей) – основан на использовании соответствующим образом заверенных документов, содержащих объективную информацию об эксперте (диплом, трудовая книжка и т.п.). Например, для вхождения в экспертную группу могут быть предъявлены следующие требования: стаж работы не менее трех лет (подтверждается выпиской из трудовой книжки), высшее образование (подтверждается дипломом), не менее 10 научных трудов (подтверждается списком, заверенным соответствующим лицом). Объективность оценки, полученной по данному методу, зависит от добросовестности и объективности суждений лиц, выдающих и заверяющих используемые документы, а также репутации соответствующих организаций (например, дипломы разных вузов объективно имеют различную ценность, стаж работы в различных организациях также неравноценен и т.п.). Рекомендуется использовать данный метод только как вспомогательный.

4. и прочие методы.

Рассмотрим в качестве расчетного примера взаимную оценку трех экспертов (Иванова, Петрова и Сидорова) по пятибалльной шкале. Представим их мнения в виде матрицы, элементы которой обозначим x_ij (x_ij - балльная оценка, которую поставил i-й эксперт j-му эксперту)

	1. Иванов	2. Петров	3. Сидоров
Иванов	5	3	4
Петров	2	2	3
Сидоров	3	1	5

Иными словами, Иванов оценил собственную компетентность в 5 баллов, а компетентность Петрова и Сидорова – соответственно в 3 и 4 балла, Петров оценил компетентность Иванова в 2 балла и т.д.

Для осуществления дальнейших расчетов удобно представить эти данные в виде таблицы 3.

Таблица 3 – Вспомогательные расчеты для определения коэффициентов компетентности

Эксперт, которого оценивают Эксперт, который оценивает	1. Иванов	2. Петров	3. Сидоров	Общая сумма баллов
Иванов	5	3	4
Петров	2	2	3
Сидоров	3	1	5
Итого	10	6	12	28

Подсчитаем коэффициенты компетентности следующим образом:

(1)

где К_j – коэффициент компетентности j –го специалиста;

m – число специалистов (в нашем случае m=3).

В знаменателе формулы находится общая сумма всех оценок в матрице, в примере она равна 28. В числителе – сумма баллов, которые получил данный (j-й) эксперт (сумма элементов матрицы в соответствующем столбце). Таким образом, коэффициент компетентности эксперта будет определяться относительным числом набранных им баллов в общем числе баллов.

Отметим, что по способу расчета коэффициенты будут получены нормированными, т.е. их сумма равна единице, что будет использовано далее.

Тогда К₁ = 10/28 = 0,36; К₂ = 6/28 = 0,21; К₃ = 12/28 = 0,43.

Полученные оценки необходимо скорректировать, так как при расчетах никак не использовалась разница в компетентности экспертов. Для этого используется следующий алгоритм. Будем называть подсчитанный коэффициент компетентности коэффициентом компетентности первого порядка. Коэффициенты компетентности более высоких порядков подсчитываются по следующей формуле:

(2)

где n – порядок коэффициента.

И эта формула позволяет получить нормированные коэффициенты (знаменатель у них одинаковый, а величины в числителе в сумме дают знаменатель).

Идея метода заключается в том, что коэффициенты компетентности более низкого порядка, полученные на предыдущих итерациях метода, используются в качестве весов при дальнейших расчетах, т.е. голоса специалистов, поданные друг за друга, принимаются во внимание уже с учетом их компетентности. Поскольку эти коэффициенты – нормированные, их действительно можно использовать в качестве весов.

Теперь в числителе формулы находится взвешенная сумма голосов, поданных за j–го эксперта, а в знаменателе – взвешенная сумма всех голосов (сумма голосов, поданных каждым экспертом, взвешивается на коэффициент его компетентности предшествующего порядка).

Для коэффициентов второго порядка в нашем примере формула будет иметь вид:

(3)

где К_j⁽¹⁾= К_j.

Таким образом, в дальнейшем оценки, данные Сидоровым, будут иметь больший вес (у него самый большой коэффициент компетентности первого порядка 0,43), а данные Петровым – наименьший.

Построим вспомогательную таблицу 4, основную часть которой заполним, умножая оценки из таблицы 3 на коэффициенты компетентности.

Таблица 4 – Вспомогательные расчеты для определения коэффициентов компетентности второго порядка

Оценки	1. Иванов	2. Петров	3. Сидоров	Коэффициенты компетентности
Иванов	5*0,36=1,8	3*0,36=1,08	4*0,36=1,44	0,36
Петров	2*0,21=0,42	2*0,21=0,42	3*0,21=0,63	0,21
Сидоров	3*0,43=1,29	1*0,43=0,43	5*0,43=2,15	0,43
Итого	3,51	1,93	4,22	Итого по строке 9,66

Таким образом, общим знаменателем для коэффициентов второго порядка будет 9,66.

Отметим, что суммы по столбцам таблицы 4 представляют собой не что иное, как средневзвешенную балльную оценку каждого эксперта (веса – коэффициенты компетентности первого порядка). Тогда 3,51 – оценка Иванова, 1,93 – оценка Петрова, а 4,22 – оценка Сидорова. Чтобы получить коэффициенты компетентности второго порядка, эти оценки нужно просто отнормировать, т.е. отнести к общей сумме: К₁⁽²⁾ = 3,51/9,66 = 0,36; аналогично К₂⁽²⁾ = 0,20; К₃⁽²⁾ = 0,44.

Новые коэффициенты для Петрова и Сидорова отличаются от коэффициентов первого порядка, поэтому уточним их еще раз, рассчитав коэффициенты третьего порядка (таблица 5).

Таблица 5 – Вспомогательные расчеты для определения коэффициентов компетентности третьего порядка

Оценки	1. Иванов	2. Петров	3. Сидоров	Коэффициенты компетентности
Иванов	5*0,36=1,8	3*0,36=1,08	4*0,36=1,44	0,36
Петров	2*0,2=0,4	2*0,2=0,4	3*0,2=0,6	0,20
Сидоров	3*0,44=1,32	1*0,44=0,44	5*0,44=2,2	0,44
Итого	3,52	1,92	4,22	Итого по строке 9,68

Тогда К₁⁽³⁾ = 3,52/9,68 = 0,36; аналогично К₂⁽³⁾ = 0,20; К₃⁽³⁾ = 0,44, т.е. коэффициенты совпали с полученными на предыдущем этапе. Следовательно, ими и следует пользоваться в дальнейшем, а в последней строке таблицы 5 находятся средневзвешенные оценки компетентности экспертов по 5-балльной шкале.

Апостериорная оценка эксперта может быть основана на:

1. количестве выявленных нелогичностей и противоречий в предшествующих суждениях специалиста (трудность использования такого подхода основана на сложности подсчета количества противоречий);

2. оценке отклонений индивидуального мнения специалиста от результирующей групповой оценки по сравнению с максимально возможными отклонениями (позволяет определить, не является ли данный специалист сторонником крайних позиций, и в какой мере);

3. подсчете относительного числа выданных экспертом правильных рекомендаций по сравнению с общим числом проведенных им экспертиз (подразумевается проверка рекомендаций эксперта на практике).

Апостериорные оценки лучше всего использовать для таких экспертов, которые участвуют в длинных сериях однотипных экспертиз (метеорологов, дегустаторов, врачей, спортивных судей и т.п.). Их не рекомендуется использовать при уникальных экспертизах больших проектов, не имеющих аналогов.

Например, если в среднем из 10 данных метеорологом прогнозов 9 оправдываются, коэффициент достоверности его суждений можно считать равным 9/10, или 90%. Такой специалист оценивается выше, чем специалист, у которого оправдываются менее 9 из 10 прогнозов, так как аналогичная оценка последнего будет меньше.

Наконец, для получения тестовых оценок необходима разработка программы тестового испытания. Чтобы такое испытание приводило к получению объективных оценок, к нему предъявляется ряд требований:

• во-первых, оно должно по своему содержанию быть направлено на конкретный объект экспертизы и охватывать его различные стороны;

• во-вторых, должна быть сведена к минимуму вероятность случайного угадывания экспертом правильных ответов;

• в-третьих, необходима разработка шкалы, в которой можно оценить качество эксперта в соответствии с данным тестом;

• в-четвертых, проверка результатов тестирования должна осуществляться таким образом, чтобы исключить влияние субъективного фактора на полученную оценку.

Например, в качестве метода получения тестовой оценки специалиста можно рассматривать экзамен. Тематика экзаменационных вопросов должна соответствовать дисциплине, по которой он проводится, и охватывать ее различные разделы. Формулировка вопросов (в том числе дополнительных) должна исключать случайное угадывание. Экзаменатор должен четко представлять себе шкалу оценок, например, оценка «отлично» соответствует отсутствию существенных ошибок и пробелов в знаниях, «хорошо» подразумевает не более двух таких ошибок и/или пробелов, более двух ошибок при наличии базовых знаний соответствуют оценке «удовлетворительно», отсутствие базовых знаний ведет к неудовлетворительной оценке.

Из приведенного примера видно, как сложно построить тестовое испытание, соответствующее всем названным требованиям. В самом деле, проверка знаний по всем разделам дисциплины заняла бы слишком много времени, поэтому она осуществляется выборочно, присутствует элемент случайности. Результатом может быть то, что, обладая значительными знаниями в данной области, специалист получает низкую оценку из-за пробела в знаниях по одному конкретному аспекту, или наоборот, высокие знания специалиста в единственном вопросе маскируют его невежество в остальных. Построение шкалы и ее интерпретация в значительной степени определяются субъективными взглядами лица, проводящего испытание (в самом деле, не всегда легко определить, какую ошибку считать существенной, а какую – нет).

Использование автоматического контроля тестовых испытаний также не всегда приносит желаемые плоды, так как, во-первых, многие моменты в них плохо поддаются алгоритмизации, а во-вторых, отсутствие личного контроля может приводить к недобросовестным методам прохождения теста, например, к привлечению к ответам на вопросы других специалистов.

В ряде случаев тесты могут служить для выявления источников аргументации экспертов, которыми могут быть:

• теоретические исследования;

• практический опыт;

• знакомство с литературой;

• участие в различных совещаниях и конференциях;

• интуиция

• и др.

Помимо названных видов оценок могут быть также использованы различного рода комбинированные оценки.

После того, как принято решение о количественном и качественном составе экспертов, и группа экспертов сформирована, переходят непосредственно к проведению опроса.