Глава 13. Экспертные оценки

13.1. Сущность метода экспертных оценок

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.

В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:

• обеспечить адекватную оценку объекта экспертизы;

• выработать эффективные альтернативные варианты решений достижения поставленных целей;

• выбрать из них единственный оптимальный (наиболее рациональный) вариант.

Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.

13.2. Подбор экспертов

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.

В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:

• метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);

• метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;

• дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;

• методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;

• документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

• метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

• метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.