1.2.3. Оценка по аргументированности и знакомству с анализи­руемой продукцией.

В форме самооценки с помощью оценочных ан­кет эксперт количественно оценивает сте­пень своей специализации по данному виду продукции и форму знакомства с ней. На­пример: «специализируюсь по данному виду продукции», «участвую в практическом создании данной продукции, но не специализируюсь», «данный вид продукции находится в сфере моих интересов», «в данной продукции не компетентен» и т. д., «знаком по своей практической деятельности, теоретическим исследо­ваниям, изучению литературы» и т. д.

Эвристическая оценка компетентности, полученная на основе учета степени специализации и знакомства, весьма эффективна и достоверна. Однако, в настоящее время эта проблема еще только начина­ет исследоваться применительно к отдельным факторам и в целом далека от того, чтобы считаться решенной, поэтому эвристические про­цедуры определения коэффициентов аргументированности и знакомства в настоящее время использовать для комплексной оценки компетент­ности экспертов пока нецелесообразно.

1.2.4. Оценка эксперта рабочей группой.

Цель этой оценки - дать в количественной форме характеристику (К_рг) заин­тересованности эксперта в участии в экспертизе и его собранности (внимательности) в ходе опроса. Оценка дается техническими работниками, проводящими опрос экспертов.

При назначении оценок они исходят из отношения экспер­тов к выполняемой экспертизе и их активности при об­суждении оценок. Так же как и другие рассмотренные ранее оценки, оценку, определенную рабочей группой (К_рг), целесообразно выражать в 10-балльной шкале.

1.3.Статистические оценки

Все методы, входящие в эту группу, базируются на общей пред­посылке: при оценке качества эксперта его целесообразно рассматривать как «измерительный прибор». Как точность результата измерения в значительной степени зависит от качества измерительного устройства, так и точность эксперт­ной оценки зависит от качества эксперта. Однако, если по­грешность прибора легко определяется по более точному образцовому прибору, показание которого принимается за истинное значение измеряемой величины, то с экспертными оценками дело обстоит гораздо сложнее, так как истинное значение оцениваемой величины, как правило, неизвестно.

На точность результата могут оказать влияние организация и методика проведения оценки; качество построения струк­турной схемы, число показателей качества, способы опреде­ления оценок, характер взаимоотношений между эксперта­ми и т. д.

Таким образом, на точность экспертной оценки влияют субъективные (зависящие от эксперта) и объективные (зави­сящие от методики оценки) факторы, воздействующие на процесс оценки как помехи. Возникающая под их действием погрешность оценки имеет случайную и систематическую составляющие.

Если эксперт уделяет чрезмерное внимание, например, внешнему виду продукции, то он будет завышать коэффициент весомости эстетического показателя качества, т. е. в этом случае в его оценке постоянно присутствует сис­тематическая погрешность.

Вместе с тем если провести не­сколько независимых туров определения коэффициентов весомости, то результаты каждого эксперта в различных ту­рах, как правило, будут отличаться, что вызвано наличием случайной погрешности.

Анализ причин появления погреш­ностей может позволить уменьшить их влияние, т. е. повы­сить точность оценки. Случайная погрешность зависит от психофизиологических особенностей эксперта, его собран­ности, уверенности в правильности информации, вни­мательности и т. д. Случайную погрешность экспертной оценки можно уменьшить многократным повторением оце­нок, однако систематическая погрешность при этом оста­нется неизменной, так как основная причина систематичес­кой погрешности - недостаточная или неправильная информированность эксперта. Повысить информированность можно, ознакомив эксперта с необходимой информацией перед началом экспертизы или организовав обсуждение в процессе которого эксперт получит дополнительную инфор­мацию от других экспертов.

Считается, что систематическая составляющая - величина менее опасная, чем случайная, так как причины ее могут быть определены и изучены. Это позволяет исследователю, проводящему опрос, вносить коррективы для снижения систематической по­грешности. Кроме того, поскольку систематическая погреш­ность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Таким образом, экспертную оценку ка­чества продукции К можно представить в виде:

К = К_и ± К

где К_и – истинное значение оценки качества продукции;

К – погрешность оценки;

Причем

К = К_сист ± К_случ

где К_сист – систематическая составляющая погрешности оценки;

К_случ – случайная составляющая погрешности оценки;

Качество эксперта целесообразно определять, исходя из погрешностей назначаемых им оценок. При этом системати­ческую погрешность можно оценивать степенью отклоне­ния от среднего мнения экспертной группы, а случайную погрешность — воспроизводимостью результатов. В обоих случаях для вычисления оценок требуется статистически обработать экспериментальные данные, чем и объясняется название этого метода оценки. Классификация составляющих погрешности экспертных оценок представлена в таблице 1.3.