9

Экспертные опросы

Статистические методы оценки качества эксперта

1.Теория

1.1. Качество эксперта

Высокое качество экспертов, участвующих в опросе оказывает решающее влияние на получение точных и на­дежных результатов.

Выбор экспертов является достаточно трудной задачей.

Во-первых, из-за сложности учета многообразных свойств эксперта. Вместо многообразия свойств, которыми определяется качество эксперта, иногда учитывают только отдельные свойства, например компетентность, или чаще всего еще более узкую характеристику — профессиональную компетентность.

Во-вторых, психофизиологические особенности чело­века, от которых в значительной степени зависит успеш­ное исполнение им обязанностей эксперта, изучены еще недостаточно. Известно, что на принимаемое человеком решение (в том числе на экспертную оценку) оказывает влияние целый ряд его индивидуальных психологических особенностей, например степень склонности к риску или подсознательное предпочтение тех или иных численных значений вероятнос­тей. Но достаточно точно определять связь между этими психологическими особенностями и качеством эксперта мы пока что еще не научились.

В-третьих, существует противоречие между стремле­нием уменьшить расходы на экспертизу путем использования каждого эксперта для оценки широкой но­менклатуры продукции, что уменьшает об­щее количество экспертных групп, и стремлением увели­чить точность и надежность экспертной оценки путем ис­пользования эксперта для оценки только той узкой номенклатуры продукции, в отношении ко­торой он наиболее компетентен, а это увеличивает общее количество экспертных групп.

Представим свойства эксперта в виде иерархической структуры, ко­торая отражает их взаимосвязь (рис. 1.1.). Как видно из схе­мы, качество эксперта определяется четырьмя группами свойств: компетентностью, заинтересованностью в резуль­татах экспертизы, деловитостью и объективностью (бес­пристрастностью). Компетентность эксперта должна рас­пространяться на объект оценки качества (профессиональ­ная компетентность) и методологию оценки (квалиметрическая компетентность).

Рис. 1.1. Структурная схема свойств эксперта

Профессиональная компетентность включает знание истории развития оцениваемой продукции (изменение ее свойств и показателей качества); производства продукции (исследование, конструирование, изготовление); зна­чений показателей качества различных ее модификаций, выпускаемых в России и за рубежом, в том числе наилуч­ших аналогов; перспектив развития продукции; научно-исследовательских работ и патентных материалов, кото­рые могут привести к изменению свойств и показателей качества; требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает: чет­кое понимание экспертом подхода к оценке качества про­дукции как к мере удовлетворения ею потребностей лю­дей; знание методов оценки качества, особенно эксперт­ных методов; умение пользоваться различными типами оцениваемых шкал, различая при этом достаточно боль­шое число их градаций. Дополнительная информация, необходимая для повышения квалиметрической компетент­ности, может быть сообщена эксперту в процессе подго­товительной работы. Однако сравнительно короткий срок подготовительного этапа затрудняет восприятие, что сни­жает эффективность работы эксперта.

Заинтересованность эксперта в результатах эксперти­зы зависит от многих факторов: степени загруженности эксперта основной работой, с которой, как правило, сов­мещается экспертиза; возможности использования полу­ченных результатов; целей экспертизы; характера выво­дов, которые могут быть сделаны по результатам оценки качества; индивидуальных особенностей эксперта.

Деловитость эксперта - тоже широкое понятие. Оно включает собранность, подвижное и эластичное внимание, работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Последняя группа свойств, характеризующих качест­во эксперта, — объективность (беспристрастность), ко­торую можно рассматривать как способность учитывать только ту информацию, которая определяет удовлетво­рение потребности данной продукцией. Необъективность эксперта заключается в завышении или занижении оце­нок качества продукции по причинам, не имеющим отно­шения к качеству, например из-за неспособности противо­стоять мнению большинства других экспертов вследствие неуверенности в своей правоте (явление конформизма) Необъективность эксперта может проявляться и в другой ситуации. Дело в том, что экспертные оценки относятся или к типу продукции (например, коэффициенты весомос­ти, оценки показателей), или к конкретному ее образцу (например, органолептическая оценка эстетических и эр­гономических показателей качества). Необъективность эксперта может проявляться главным образом именно во втором случае - при оценке реальных образцов. Скажем эксперт завышает оценки эстетических и эргономических показателей качества продукции, выпускаемой предприя­тием, с которым он связан по работе, хотя и не является непосредственным разработчиком данной продукции.

Из схемы, представленной на рис. 1.2., видно, что для ко­личественной оценки качества эксперта нужно, прежде всего, получить частные оценки отдельных свойств, от которых это качество зависит.

Большинство существующих методов оценки качества экспертов можно разделить на пять групп:

эвристические - оценки, назначаемые человеком;

статистические - оценки, полученные в результате обработки суждений экспертов об объекте оценки;

тестовые - оценки, полученные в результате специаль­ных испытаний экспертов;

документальные - оценки, основанные на анализе до­кументальных данных об экспертах;

комбинированные - оценки, полученные с помощью любой совокупности перечисленных методов.

Каждая из этих групп включает несколько частных оце­нок и методов их получения. Рассмотрим эти методы получения частных оценок ка­чества эксперта.

Комбинированные

оценки

Рис 1.2. Методы получения частных оценок свойств, характеризующих качество эксперта

1.2.Статистические оценки

Все методы, входящие в эту группу, базируются на общей пред­посылке: при оценке качества эксперта его целесообразно рассматривать как «измерительный прибор». Как точность результата измерения в значительной степени зависит от качества измерительного устройства, так и точность эксперт­ной оценки зависит от качества эксперта. Однако, если по­грешность прибора легко определяется по более точному образцовому прибору, показание которого принимается за истинное значение измеряемой величины, то с экспертными оценками дело обстоит гораздо сложнее, так как истинное значение оцениваемой величины, как правило, неизвестно. На точность результата могут оказать влияние организация и методика проведения оценки; качество построения струк­турной схемы, число показателей качества, способы опреде­ления оценок, характер взаимоотношений между эксперта­ми и т. д.

Таким образом, на точность экспертной оценки влияют субъективные (зависящие от эксперта) и объективные (зави­сящие от методики оценки) факторы, воздействующие на процесс оценки как помехи. Возникающая под их действием погрешность оценки имеет случайную и систематическую составляющие.

Если эксперт уделяет чрезмерное внимание, например, внешнему виду продукции, то он будет завышать коэффициент весомости эстетического показателя качества, т. е. в этом случае в его оценке постоянно присутствует сис­тематическая погрешность.

Вместе с тем если провести не­сколько независимых туров определения коэффициентов весомости, то результаты каждого эксперта в различных ту­рах, как правило, будут отличаться, что вызвано наличием случайной погрешности.

Анализ причин появления погреш­ностей может позволить уменьшить их влияние, т. е. повы­сить точность оценки. Случайная погрешность зависит от психофизиологических особенностей эксперта, его собран­ности, уверенности в правильности информации, вни­мательности и т. д. Случайную погрешность экспертной оценки можно уменьшить многократным повторением оце­нок, однако систематическая погрешность при этом оста­нется неизменной, так как основная причина систематичес­кой погрешности — недостаточная или неправильная информированность эксперта. Повысить информированность можно, ознакомив эксперта с необходимой информацией перед началом экспертизы или организовав обсуждение в процессе которого эксперт получит дополнительную инфор­мацию от других экспертов.

Считается, что систематическая составляющая - величина менее опасная, чем случайная, так как причины ее могут быть определены и изучены. Это позволяет исследователю, проводящему опрос, вносить коррективы для снижения систематической по­грешности. Кроме того, поскольку систематическая погреш­ность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Таким образом, экспертную оценку ка­чества продукции К можно представить в виде:

К = К_и ± К (1)

где К_и – истинное значение оценки качества продукции;

К – погрешность оценки;

Причем

К = К_сист ± К_случ (2)

где К_сист – систематическая составляющая погрешности оценки;

К_случ – случайная составляющая погрешности оценки;

Качество эксперта целесообразно определять, исходя из погрешностей назначаемых им оценок. При этом системати­ческую погрешность можно оценивать степенью отклоне­ния от среднего мнения экспертной группы, а случайную погрешность — воспроизводимостью результатов. В обоих случаях для вычисления оценок требуется статистически обработать экспериментальные данные, чем и объясняется название этого метода оценки.