1. Способы отбора

Наиболее важный вопрос, связанный с организацией квалиметрической экспертизы, состоит в том, чтобы, исходя из основной задачи экспертизы и условий конкретной ситуации (возможностей выбора экс­пертов тех или иных ограничений ресурсов и т.п.) найти оптимальный принцип отбора экспертов. Причем принцип этот (или способ отбора) придумать нетрудно - трудно обосновать его оптимальность.

Оптимальность проверяется, в конечном счете, результативностью экспертизы. Но экспертизу проводят, за редким исключением, эксперт­ной группой, сформированной одним каким-то способом и поэтому её результаты не с чем сравнить (если только нет явного провала). Да и решать вопрос о способе отбора экспертов приходится не после того, как получены результаты, а на начальном этапе экспертизы, когда ре­зультаты еще неизвестны. Каково же может быть обоснование способа отбора экспертов?

Надежных рекомендаций пока нет.

По нашему суждению, обоснованность может быть обеспечена тем, что по отношению к примененному способу отбора не может быть вы­двинуто ни одно из возражений следующего характера:

• некомпетентность всех или части экспертов по предмету экспер­тизы;

• возможная заинтересованность всех или части экспертов в опре­деленном решении;

• отсутствие в экспертной группе специалистов, способных рас­смотреть объект с определенной стороны, существенной для его оценки;

• квалиметрическая некомпетентность - отсутствие у некоторых экспертов знаний, подготовки, навыков, необходимых для простановки оценок и участия в работе экспертной группы;

• отсутствие стремления всех или части экспертов принять актив­ное участие в работе (например, из-за психологической несовместимо­сти с другими экспертами);

БИЛЕТ 22, 23

1.1. Качество эксперта

Высокое качество экспертов, участвующих в опросе оказывает решающее влияние на получение точных и на­дежных результатов.

Выбор экспертов является достаточно трудной задачей.

Во-первых, из-за сложности учета многообразных свойств эксперта. Вместо многообразия свойств, которыми определяется качество эксперта, иногда учитывают только отдельные свойства, например компетентность, или чаще всего еще более узкую характеристику - профессиональную компетентность.

Во-вторых, психофизиологические особенности чело­века, от которых в значительной степени зависит успеш­ное исполнение им обязанностей эксперта, изучены еще недостаточно. Известно, что на принимаемое человеком решение (в том числе на экспертную оценку) оказывает влияние целый ряд его индивидуальных психологических особенностей, например степень склонности к риску или подсознательное предпочтение тех или иных численных значений вероятнос­тей. Но достаточно точно определять связь между этими психологическими особенностями и качеством эксперта пока что еще не научились.

В-третьих, существует противоречие между стремле­нием уменьшить расходы на экспертизу путем использования каждого эксперта для оценки широкой но­менклатуры продукции, что уменьшает об­щее количество экспертных групп, и стремлением увели­чить точность и надежность экспертной оценки путем ис­пользования эксперта для оценки только той узкой номенклатуры продукции, в отношении ко­торой он наиболее компетентен, а это увеличивает общее количество экспертных групп.

Свойства эксперта можно представить в виде иерархической структуры, ко­торая отражает их взаимосвязь (рис. 1.1.). Как видно из схе­мы, качество эксперта определяется четырьмя группами свойств: компетентностью, заинтересованностью в резуль­татах экспертизы, деловитостью и объективностью (бес­пристрастностью). Компетентность эксперта должна рас­пространяться на объект оценки качества (профессиональ­ная компетентность) и методологию оценки (квалиметрическая компетентность).

Профессиональная компетентность включает знание истории развития оцениваемой продукции (изменение ее свойств и показателей качества); производства продукции (исследование, конструирование, изготовление); зна­чений показателей качества различных ее модификаций, выпускаемых в России и за рубежом, в том числе наилуч­ших аналогов; перспектив развития продукции; научно-исследовательских работ и патентных материалов, кото­рые могут привести к изменению свойств и показателей качества; требований потребителей, условий и характера потребления.

Квалиметрическая компетентность обеспечивает: чет­кое понимание экспертом подхода к оценке качества про­дукции как к мере удовлетворения ею потребностей лю­дей; знание методов оценки качества, особенно эксперт­ных методов; умение пользоваться различными типами оцениваемых шкал, различая при этом достаточно боль­шое число их градаций. Дополнительная информация, необходимая для повышения квалиметрической компетент­ности, может быть сообщена эксперту в процессе подго­товительной работы. Однако сравнительно короткий срок подготовительного этапа затрудняет восприятие, что сни­жает эффективность работы эксперта.

Рис. 1.1. Структурная схема свойств эксперта

Заинтересованность эксперта в результатах эксперти­зы зависит от многих факторов: степени загруженности эксперта основной работой, с которой, как правило, сов­мещается экспертиза; возможности использования полу­ченных результатов; целей экспертизы; характера выво­дов, которые могут быть сделаны по результатам оценки качества; индивидуальных особенностей эксперта.

Деловитость эксперта - тоже широкое понятие. Оно включает собранность, подвижное и эластичное внимание, работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.

Последняя группа свойств, характеризующих качест­во эксперта, - объективность (беспристрастность), ко­торую можно рассматривать как способность учитывать только ту информацию, которая определяет удовлетво­рение потребности данной продукцией. Необъективность эксперта заключается в завышении или занижении оце­нок качества продукции по причинам, не имеющим отно­шения к качеству, например из-за неспособности противо­стоять мнению большинства других экспертов вследствие неуверенности в своей правоте (явление конформизма) Необъективность эксперта может проявляться и в другой ситуации. Дело в том, что экспертные оценки относятся или к типу продукции (например, коэффициенты весомос­ти, оценки показателей), или к конкретному ее образцу (например, органолептическая оценка эстетических и эр­гономических показателей качества). Необъективность эксперта может проявляться главным образом именно во втором случае - при оценке реальных образцов. Скажем, эксперт завышает оценки эстетических и эргономических показателей качества продукции, выпускаемой предприя­тием, с которым он связан по работе, хотя и не является непосредственным разработчиком данной продукции.

Из схемы, представленной на рис. 1.2., видно, что для ко­личественной оценки качества эксперта нужно, прежде всего, получить частные оценки отдельных свойств, от которых это качество зависит.

Большинство существующих методов оценки качества экспертов можно разделить на пять групп:

эвристические - оценки, назначаемые человеком;

статистические - оценки, полученные в результате обработки суждений экспертов об объекте оценки;

тестовые - оценки, полученные в результате специаль­ных испытаний экспертов;

документальные - оценки, основанные на анализе до­кументальных данных об экспертах;

комбинированные - оценки, полученные с помощью любой совокупности перечисленных методов.

Каждая из этих групп включает несколько частных оце­нок и методов их получения. Рассмотрим эти методы получения частных оценок ка­чества эксперта.

Комбинированные

оценки

Рис 1.2. Методы получения частных оценок свойств, характеризующих качество эксперта