- •1.2.Статистические оценки
- •1.2.1. Оценка по отклонению от среднего мнения экспертной группы.
- •Эксперт ранжирует оцениваемые величины.
- •1.2.1.2. Эксперт определяет численные значения оцениваемых величин.
- •1.2.2. Оценка объективности (беспристрастности) эксперта
- •1.2.3.Оценка воспроизводимости результата.
- •1.2.3.1.Эксперт ранжирует оцениваемые величины.
- •1.2.1.2. Эксперт определяет численные значения оцениваемых величин.
1.2.1.2. Эксперт определяет численные значения оцениваемых величин.
1. Для иллюстрации возьмем случай, когда эксперты определяют значения коэффициента весомости. Пусть каждый j-й эксперт ( j = 1, 2, ..., N) определил значения каждого i-гo коэффициента весомости Мij (i = 1, 2, ..., п). Для этих условий В. Д. Малюгиным предлагается определять максимальные jmax и минимальные jmin расхождения между оценками, назначенными j-м экспертом i-му объекту, и средними значениями оценок (в данном случае речь идет о значениях коэффициентов весомости). Компетентность эксперта в общем виде является функцией этих величин:
Кос j= f (jmax , jmin)
2. Другой, несколько отличный способ оценки отклонения от средней базируется на использовании понятия расстояния.
(14)
Тогда в случае для расчета качества эксперта в 10-и балльной шкале:
Кос j= 10 (1-j ) (15)
3. Существуют и более сложные подходы к расчету качества эксперта по отклонению от среднего мнения. Например, считают необходимым различать два вида оценок: мгновенный коэффициент, отражающий компетентность эксперта применительно к данному моменту времени, и текущий коэффициент, выражающий компетентность как функцию времени. Связь между текущим и мгновенным коэффициентами может быть выражена зависимостями разного вида. Этот метод позволяет несколько повысить точность оценки компетентности эксперта. Однако применительно к практическим задачам оценки качества продукции подобное повышение точности не компенсирует значительное возрастание трудоемкости вычислений, необходимых в данном методе.
Наиболее приемлемым представляется способ оценки отклонения от средней, выражаемый формулой (15).
1.2.2. Оценка объективности (беспристрастности) эксперта
Оценка объективности эксперта является важной характеристикой его качества. В ряде случаев, например при оценке конкретных образцов продукции, необъективность экспертов может привести к существенному искажению результатов. Однако пока еще нет специфических методов оценки объективности экспертов. В некоторых случаях для этих целей предлагаются разновидности оценки отклонения от средней.
1.2.3.Оценка воспроизводимости результата.
Как известно, одним из главных критериев достоверности любого научного результата является его воспроизводимость. То же самое относится к эксперту и выносимому им суждению. Высоким может считаться качество только такого эксперта, для которого свойственна воспроизводимость назначаемых им оценок. Применительно, например, к экспертному опросу, проводимому в несколько туров, это означает, что оценки, назначенные экспертом в последующем туре, должны быть достаточно близкими к аналогичным оценкам предыдущего тура. В этом случае можно говорить о малом значении случайной погрешности экспертной оценки, т. е. о стабильности его мнения. К сожалению, оценка воспроизводимости результата еще не нашла широкого применения при отборе экспертов для оценки качества продукции. Исключение составляет только органолептический анализ качества пищевых продуктов, где воспроизводимость выносимых экспертом оценок является одним из трех критериев, которыми рекомендуют руководствоваться при отборе членов экспертной группы.
Воспроизводимость результата может быть проверена следующим образом. Проводятся два тура экспертного определения коэффициентов весомости показателей качества. При этом промежуток времени между двумя турами должен быть сравнительно невелик, чтобы исключить возможность получения экспертом новой информации, которая могла бы привести к изменению его суждения, и в то же время достаточен, чтобы эксперт забыл значения коэффициентов весомости, назначенные им в первом туре.