9

Экспертные опросы

Эвристические оценки качества эксперта

Оценка качества эксперта комплексным методом

с расчетом коэффициента самооценки

1.Теория

1.1. Качество эксперта

Высокое качество экспертов, участвующих в опросе оказывает решающее влияние на получение точных и на­дежных результатов.

Выбор экспертов является достаточно трудной задачей.

Во-первых, из-за сложности учета многообразных свойств эксперта. Вместо многообразия свойств, которыми определяется качество эксперта, иногда учитывают только отдельные свойства, например компетентность, или чаще всего еще более узкую характеристику - профессиональную компетентность.

Во-вторых, психофизиологические особенности чело­века, от которых в значительной степени зависит успеш­ное исполнение им обязанностей эксперта, изучены еще недостаточно. Известно, что на принимаемое человеком решение (в том числе на экспертную оценку) оказывает влияние целый ряд его индивидуальных психологических особенностей, например степень склонности к риску или подсознательное предпочтение тех или иных численных значений вероятнос­тей. Но достаточно точно определять связь между этими психологическими особенностями и качеством эксперта пока что еще не научились.

В-третьих, существует противоречие между стремле­нием уменьшить расходы на экспертизу путем использования каждого эксперта для оценки широкой но­менклатуры продукции, что уменьшает об­щее количество экспертных групп, и стремлением увели­чить точность и надежность экспертной оценки путем ис­пользования эксперта для оценки только той узкой номенклатуры продукции, в отношении ко­торой он наиболее компетентен, а это увеличивает общее количество экспертных групп.

Свойства эксперта можно представить в виде иерархической структуры, ко­торая отражает их взаимосвязь (рис. 1.1.). Как видно из схе­мы, качество эксперта определяется четырьмя группами свойств: компетентностью, заинтересованностью в резуль­татах экспертизы, деловитостью и объективностью (бес­пристрастностью). Компетентность эксперта должна рас­пространяться на объект оценки качества (профессиональ­ная компетентность) и методологию оценки (квалиметрическая компетентность).

Профессиональная компетентность включает знание истории развития оцениваемой продукции (изменение ее свойств и показателей качества); производства продукции (исследование, конструирование, изготовление); зна­чений показателей качества различных ее модификаций, выпускаемых в России и за рубежом, в том числе наилуч­ших аналогов; перспектив развития продукции; научно-исследовательских работ и патентных материалов, кото­рые могут привести к изменению свойств и показателей качества; требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает: чет­кое понимание экспертом подхода к оценке качества про­дукции как к мере удовлетворения ею потребностей лю­дей; знание методов оценки качества, особенно эксперт­ных методов; умение пользоваться различными типами оцениваемых шкал, различая при этом достаточно боль­шое число их градаций. Дополнительная информация, необходимая для повышения квалиметрической компетент­ности, может быть сообщена эксперту в процессе подго­товительной работы. Однако сравнительно короткий срок подготовительного этапа затрудняет восприятие, что сни­жает эффективность работы эксперта.

Рис. 1.1. Структурная схема свойств эксперта

Заинтересованность эксперта в результатах эксперти­зы зависит от многих факторов: степени загруженности эксперта основной работой, с которой, как правило, сов­мещается экспертиза; возможности использования полу­ченных результатов; целей экспертизы; характера выво­дов, которые могут быть сделаны по результатам оценки качества; индивидуальных особенностей эксперта.

Деловитость эксперта - тоже широкое понятие. Оно включает собранность, подвижное и эластичное внимание, работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Последняя группа свойств, характеризующих качест­во эксперта, - объективность (беспристрастность), ко­торую можно рассматривать как способность учитывать только ту информацию, которая определяет удовлетво­рение потребности данной продукцией. Необъективность эксперта заключается в завышении или занижении оце­нок качества продукции по причинам, не имеющим отно­шения к качеству, например из-за неспособности противо­стоять мнению большинства других экспертов вследствие неуверенности в своей правоте (явление конформизма) Необъективность эксперта может проявляться и в другой ситуации. Дело в том, что экспертные оценки относятся или к типу продукции (например, коэффициенты весомос­ти, оценки показателей), или к конкретному ее образцу (например, органолептическая оценка эстетических и эр­гономических показателей качества). Необъективность эксперта может проявляться главным образом именно во втором случае - при оценке реальных образцов. Скажем, эксперт завышает оценки эстетических и эргономических показателей качества продукции, выпускаемой предприя­тием, с которым он связан по работе, хотя и не является непосредственным разработчиком данной продукции.

Из схемы, представленной на рис. 1.2., видно, что для ко­личественной оценки качества эксперта нужно, прежде всего, получить частные оценки отдельных свойств, от которых это качество зависит.

Большинство существующих методов оценки качества экспертов можно разделить на пять групп:

эвристические - оценки, назначаемые человеком;

статистические - оценки, полученные в результате обработки суждений экспертов об объекте оценки;

тестовые - оценки, полученные в результате специаль­ных испытаний экспертов;

документальные - оценки, основанные на анализе до­кументальных данных об экспертах;

комбинированные - оценки, полученные с помощью любой совокупности перечисленных методов.

Каждая из этих групп включает несколько частных оце­нок и методов их получения. Рассмотрим эти методы получения частных оценок ка­чества эксперта.

Комбинированные

оценки

Рис 1.2. Методы получения частных оценок свойств, характеризующих качество эксперта

1.2. Эвристические оценки

Все приводимые ниже методы эвристической оценки ос­новываются на предположении, что то представление, кото­рое сложилось о данном эксперте у окружающих (или даже у него самого) достаточно правильно отражает его истинное качество.

1.2.1. Самооценка.

В этом методе эксперт оценивает свою профессиональную компетентность, т. е. информированность и степень знакомства с различны­ми сторонами производства и потребления оцениваемой про­дукции. Специальными опытами, проведенными в 1965 г. Б. Брауном и О.Хелмером, было пока­зано, что достоверность усредненной экспертной оценки тем выше, чем выше среднее значение самооценки членов груп­пы. В связи с этим в экспертную группу рекомендовалось отбирать экспертов с наиболее высокими значениями само­оценки.

Однако самооценка в силу значительной субъективности имеет и определенные недостатки.

Во-первых, самооценка зависит от психологических особенностей эксперта. К. Готтшальдтом было показано, что в зависимости от степени удовлетворенности собой человек непроизвольно меняет свою самооценку, ухудшая ее (по сравнению с истин­ной оценкой) при неудовлетворенности собой и улучшая - при удовлетворенности.

Во-вторых, самооценка эксперта зависит от его понимания оценочной шкалы. Это обстоя­тельство представляется чрезвычайно важным, так как экс­перты, по-разному оценивающие свое качество, могут вос­пользоваться одинаковыми оценками. Вероятно, по этим причинам результаты самооценки не всегда совпадают с результатами, полученными другими, менее субъективными методами, например взаимооценкой.

Способ уменьшения субъективности самооценки (приме­нительно к задачам прогнозирования) предложен академи­ком В. М. Глушковым..

В первых опытах применения самооценки ее значение определялось простейшим способом - эксперт комплексно оценивал свою компетентность по четырехбалльной шкале. В настоящее время самооценка проводится более дифференцированно, что повышает ее точность.

Например, применительно к оценке эстетического уровня изделий по­казатель самооценки определяется расчетом как функция двух показателей - коэффициентов знакомства и аргументированности. Для экспертной оценки качества то­варов самооценку эксперта рекомендуется определять с учетом степени его информированности и знакомства с оце­ниваемой продукцией следующим образом. Эксперт запол­няет «Анкету самооценки» (см. табл. 1.1.), в которой он отме­чает регулярность чтения перечисленных в ней источников информации и степень знакомства с оцениваемой продук­цией.

Таблица 1.1. Пример заполнения «Анкеты самооценки»

Анкета самооценки. эксперт Петров А.П. (ФИО) Источники информации Регулярность чтения читаю часто и регулярно читаю часто, но не регулярно читаю редко не читаю Отечественная литература по вопросам производства и потребления оцениваемой продукции + Зарубежная литература по вопросам производства и потребления оцениваемой продукции + Патентная информация + Фирменная информация (каталоги, проспекты, и т.д.) + Характер знакомства (участия) Степень знакомства (участия ) высокая средняя низкая отсутствует Знакомство с образцами продукции на выставках, показах, заводах и т. д + Непосредственное знакомство с вопросами производства и потребления продукции за рубежом (симпозиумы, командировки и т. д.) + Знакомства с результатами социологических опросов о требованиях потребителей к качеству продукции + Участие в проведении социологических опросах о требованиях потребителей к качеству продукции +

С учетом специфики оценивае­мой продукции весомость отдельных показателей М_i может корректироваться экспертной группой. Иногда (например, при применении экспертных оценок для целей прогнозирования) применяются и более подробные таблицы самооценки, насчитывающие 15 пунктов.

Представляется, однако, что на сегодняшнем этапе развития методов экспертной оценки качества изло­женный выше метод самооценки является достаточно полным.

Самооценка вычисляется по формуле:

где К_{сам j} – самооценка j-го эксперта;

М_i – весомость показателей информированности и знакомства, определяемая в соответствии с данными в табл1.2;

К_{i j} – оценка, зависящая от степени информированности и степени знакомства, определяемая в соответствии с данными в табл.1.2..

Поскольку , а 0≤ К_{i j} ≤10, то 0≤ К_{сам j} ≤10,

Таблица 1.2. Определение коэффициента самооценки

Факторы, влияющие на самооценку эксперта	Весомость показателей Мi	Оценка в зависимости от степени информированности и знакомства
Источники информации		Регулярность чтения
		Кi=10	Кi=7,5	Кi=2	Кi=0
		читаю часто и регулярно	читаю часто, но не регулярно	читаю редко	не читаю
Отечественная литература по вопросам производства и потребления оцениваемой продукции	0,10
Зарубежная литература по вопросам производства и потребления оцениваемой продукции	0,20
Патентная информация	0,15
Фирменная информация (каталоги, проспекты, и т.д.)	0,10
Характер знакомства (участия)		Степень знакомства
		высокая	средняя	низкая	отсутствует
Знакомство с образцами продукции на выставках, показах, заводах и т. д	0,12
Непосредственное знакомство с вопросами производства и потребления продукции за рубежом (симпозиумы, командировки и т. д.)	0,14
Знакомства с результатами социологических опросов о требованиях потребителей к качеству продукции	0,09
Участие в проведении социологических опросах о требованиях потребителей к качеству продукции	0,10