Компетентность эксперта
специальная
подготовка заинтересованность
в результатах деловитость объективность
профессио-нальная для
исполь-зования собранность при
самостоя-тельном выс- тавении
оце-нок
квалиметри-ческая для
повыше-ния квалифи-кации контактность
корректировка
оценок при поступлении
информации от других
мотивирован-ность
Рис. 7.2. Показатели компетентности экспертов
Заинтересованность эксперта в работе экспертной комиссии зависит от многих факторов:
целей экспертизы;
характера выводов;
индивидуальных особенностей эксперта,
занятости на основной работе;
возможности использования результатов экспертной оценки в собственной практической работе.
Деловитость эксперта включает подвижность и эластичность внимания ( способность быстро переключать внимание с одного показателя на другой); собранность; оперативность; обоснованность выводов; контактность (умение работать с людьми в конфликтных ситуациях); мотивированность выставленной оценки.
Объективность эксперта заключается в том, что он делает выводи на основе действительного уровня качества оцениваемой продукции, а не руководствуется другими мнениями.
Методы оценки компетентности экспертов делят на 5 групп: эвристические, статистические, тестовые, документальные и комбинированные.
Эвристическая (от греч. heurisko – отыскиваю, открываю) оценка эксперта базируется на оценке окружающих людей или самооценке. Существуют такие виды эвристических оценок: самооценка, взаимооценка, оценка рабочей группы.
Самооценка – это метод, при котором оценку собственной компетентности дает сам эксперт. Установлено, что достоверность средней экспертной оценки тем выше, чем больше среднее значение самооценки членов экспертной группы. Между тем необходимо иметь ввиду, что результаты самооценки почти всегда субъективны, что является недостатком этого метода.
З целью повышения точности результатов самооценки ее проводят дифференцированно. Показатель самооценки определяют как функцию двух коэффициентов: информированности и знаний оцениваемой продукции и аргументированности своей оценки. Т.Г. Роднина и Г.О. Вукс предлагают определять информированность и знание экспертом оцениваемой продукции при помощи «Анкеты самооценки» (приложение А). В анкете эксперт отмечает регулярность знакомства с источниками информации, а также степень своего знакомства с оцениваемой продукцией. Самооценка рассчитывается по формуле:
Ксам = ВэспIэкс,
где Ксам – коэффициент самооценки эксперта;
Вэкс – весомость показателей информированности и знаний;
Iэкс – оценка, которая зависит от степени информированности.
Пример расчета Ксам приведен в приложении Б.
Взаимооценка – это эвристическая оценка эксперта, которая дается другими экспертами, она должна уменьшить субъективность самооценки каждого эксперта. Известно, что существует взаимосвязь между компетентностью эксперта и средней оценкой, которую он получил от своих коллег. Сущность этого вида оценки состоит в том, что каждый член экспертной группы дает оценку всем другим экспертам, а потом рассчитывается средняя оценка каждого эксперта.
Недостатки взаимооценки:
эксперты могут недостаточно знать один другого;
на результаты оценки могут влиять взаимные симпатии или антипатии;
разные эксперты могут неоднозначно воспринимать понятие «компетентность эксперта»;
Для уменьшения указанных недостатков рекомендуется
использовать взаимооценку только в тех комиссиях, где эксперты хорошо знают друг друга;
проводить анонимное анкетирование;
объяснять, что результаты анкетирования будут использоваться только для корректировки оценок товара.
Оценка эксперта рабочей группой – это эвристическая оценка, которая должна дать количественную характеристику заинтересованности эксперта в экспертной оценке и его внимательности в процессе опроса. Оценка дается специалистами-аналитиками, которые проводят опрос экспертов после экспертной оценки продукции. При этом они оценивают отношение экспертов к экспертизе а также их активность при обсуждении результатов. Чаще всего для такую оценку рекомендуют использовать 10–балльную оценку.
Статистическая оценка. – это оценка, полученная после статистической обработки мнений экспертов об объекте оценки. Эти оценки используются с целью уменьшения ошибок, которые возникают при экспертных оценках. Необходимость статистической обработки результатов экспертизы обусловлена тем, что в отличии от измерений, которые проводятся при помощи технических средств и базируется на сравнении неизвестных величин с известными, при экспертных методах часто известная величина отсутствует. К тому же на точность экспертных оценок влияет много факторов объективного и субъективного характера, вследствие чего возникают систематические или случайные ошибки.
Систематическая ошибка – это ошибка, которая постоянно повторяется в процессе данного определения. Основная причина ее появления является недостаточная или неточная информация экспертов. Уменьшить ее можно путем ознакомления экспертов с необходимой информацией до начала работы экспертной комиссии. Систематическую ошибку можно определить по величине отклонения оценки каждого эксперта от среднего значения, полученной в экспертной комиссии.
Случайная ошибка зависит от психофизиологических особенностей эксперта (собранности, внимательности, уверенности в собственной правоте). Она уменьшается, если эксперт часто принимает участие в работе экспертных комиссий и имеет практический опыт.
Оценка объективности эксперта – это оценка способности эксперта к непреднамеренной оценке конкретного образца товара. Это очень важная характеристика компетентности эксперта, которая существенно влияет на точность результатов экспертной оценки.
Тестовые оценки позволяют при помощи тестирования определить психофизиологические особенности экспертов. Их используют для оценки объективности, квалиметрической и профессиональной подготовленности эксперта. Тестирование позволяет оценить личностные черты, чего нельзя сделать никакими другими методами. Недостатком данного метода можно считать невозможность сравнить данные, полученные методом тестирования, с данными, полученными при помощи других объективных методов.
При составлении тестов необходимо придерживаться таких требований:
эксперт должен понимать постановку тестового задания и условия, которым отвечает его решение;
вероятность случайного угадывания решения задания должна быть близка нулю;
тестовое задание должно иметь точный ответ;
необходимо обосновать приближение тестового задания и реальных задач, которые решает эксперт при оценке качества продукции.
Оценка квалилиметрической подготовки эксперта – это оценка теоретических знаний методов оценки показателей качества продукции и умение их использовать в практической работе. Эта оценка может проводиться путем устного или письменного контроля знаний с использованием тестов.
Несколько сложнее проверить такие знания, как умение использовать различные типы оценочных шкал, определять субъективную вероятность, распознавать достаточное количество градаций показателей качества.
Документальная оценка – это оценка эксперта на основе документов, которые подтверждают его соответствие установленным требованиям. Например, компетентность эксперта может быть подтверждена общими сведениями, которые приводятся в анкете: опыт – копией трудовой книжки; профессиональная подготовка – дипломом профессионального образования; специальная подготовка – аттестатом или свидетельством установленного образца о специальной подготовке; повышение квалификации – соответствующим свидетельством.
Документальная оценка может быть только дополнением к другим методам оценки компетентности эксперта и самостоятельного значения не имеет. Это обусловлено тем, что часть информации, которая есть в документах, дублирует другие оценки.
Комбинированная оценка предполагает использование различных методов оценки компетентности экспертов. Так как различные методы этой оценки имеют свои преимущества и недостатки, то их совместное использование может позволить усилить преимущества и смягчить недостатки отдельных методов.