1.3.1.2. Эксперт определяет численные значения оцениваемых величин.

Для иллюстрации возьмем случай, когда эксперты определяют значения коэффициента весомости. Пусть каж­дый j-й эксперт ( j = 1, 2, ..., N) определил значения каж­дого i-гo коэффициента весомости М_ij (i = 1, 2, ..., п). Для этих условий В. Д. Малюгиным предлагается опреде­лять максимальные j_max и минимальные j_min расхож­дения между оценками, назначенными j-м экспертом i-му объекту, и средними значениями оценок (в данном случае речь идет о значениях коэффициентов весомости). Компе­тентность эксперта в общем виде является функцией этих величин:

К_{ос j}= f (j_max , j_min)

Другой, несколько отличный способ оценки отклонения от средней базируется на использовании понятия расстояния.

Тогда

К_{ос j}= 10 (1-_j )

Существуют и более сложные подходы к расчету качества эксперта по отклонению от среднего мнения. Например, считают необходимым различать два вида оценок: мгновен­ный коэффициент, отражающий компетентность эксперта применительно к данному моменту времени, и текущий коэффициент, выражающий компетентность как функцию времени. Связь между текущим и мгновенным коэффици­ентами может быть выражена зависимостями разного вида. Этот ме­тод позволяет несколько повысить точность оценки компетентности эксперта. Однако применительно к практи­ческим задачам оценки качества продукции подобное повы­шение точности не компенсирует значительное возрастание трудоемкости вычислений, необходимых в данном методе.

1.3.2. Оценка объективности (беспристрастности) эксперта

Оценка объективности эксперта является важной характе­ристикой его качества. В ряде случаев, например при оцен­ке конкретных образцов продукции, необъективность экс­пертов может привести к существенному искажению резуль­татов. Однако пока еще нет специфических методов оценки объективности экспертов. В некоторых случаях для этих целей предлагаются разновидности оценки отклонения от средней.

1.3.3.Оценка воспроизводимости результата.

Как известно, одним из главных критериев достоверности любого научного результата является его воспроизводимость. То же самое относится к эксперту и выносимому им суждению. Высо­ким может считаться качество только такого эксперта, для которого свойственна воспроизводимость назначаемых им оценок. Применительно, например, к экспертному опросу, проводимому в несколько туров, это означает, что оценки, назначенные экспертом в последующем туре, должны быть достаточно близкими к аналогичным оценкам предыдущего тура. В этом случае можно говорить о малом значении слу­чайной погрешности экспертной оценки, т. е. о стабильности его мнения. К сожалению, оценка воспроизводимости ре­зультата еще не нашла широкого применения при отборе экспертов для оценки качества продукции. Исключение составляет только органолептический анализ качества пи­щевых продуктов, где воспроизводимость выносимых экс­пертом оценок является одним из трех критериев, которыми рекомендуют руководствоваться при отборе членов эксперт­ной группы.

Воспроизводимость результата может быть проверена следующим образом. Проводятся два тура экс­пертного определения коэффициентов весомости показателей качества. При этом промежуток времени между двумя турами должен быть сравнительно невелик, чтобы исклю­чить возможность получения экспертом новой информации, которая могла бы привести к изменению его суждения, и в то же время достаточен, чтобы эксперт забыл значения ко­эффициентов весомости, назначенные им в первом туре.

Если определяются не численные значения коэффициен­тов весомости, а только их порядковая последовательность (ранжировка), то оценка воспроизводимости результата может быть определена аналогично оценке отклонения от средней при помощи коэффициента ранговой корреляции (по Спирмену) между ранжировками двух туров, произве­денными каждым j-м экспертом

К_{вр j} = 10R`_j

где

Причем d`_ij – разность между рангами присвоенными i-му коэффициенту весомости j-тым экспертом в первом и втором турах опроса.

Понятно, что структура формул () и () аналогична формулам () и (). Если же эксперты вычисляют числен­ные значения коэффициентов весомости, то целесообразно использовать формулы, аналогичные формулам () и ()

К_{вр j}= 10 (1-`_j )

где

причем М`_ij и М``_ij – значения i-го коэффициента весомости, назначенное j-тым экспертом соответственно в первом и втором турах.

Сказанное выше, а также практический опыт оценки ка­чества экспертов показывает, что оценку воспроизводимос­ти результата целесообразно применять при формировании экспертной группы.