1.4. Тестовые оценки

Тестовый метод заключается в проведении испытаний, в ходе которых оцениваются некоторые психофизиологичес­кие особенности, от которых зависит качество эксперта. В настоящее время в экспериментальной психологии накоп­лен большой опыт по разработке тестовых задач, например для целей профессионального отбора и профессиональной ориентации.

Учитывая, что по существу такого же типа задачи прихо­дится решать и при отборе специалистов в экспертную груп­пу, тестовый метод представляется весьма перспективным и для оценки качества экспертов. С помощью тестов прин­ципиально можно оценивать такие свойства, характеризую­щие качество эксперта, как объективность, квалиметрическую и профессиональную компетентность. Однако при тес­товой оценке профессиональной компетенции экспертов, занимающихся оценкой качества, возникает специфическая проблема, значительно осложняющая применение тестовой методики и требующая больших усилий для ее решения. Дело в том, что, как правило, в этом случае отсутствует возможность сравнения результата, определенного экспер­том в ходе его тестирования, с результатом, полученным ка­ким-либо более объективным методом.

Для разработки и применения тестовых оценок в целях отбора членов экспертной группы большое значение имеет соблюдение требований, предъявляемых к тестовым зада­чам. И. Б. Моцкус так формулирует эти требования:

- необходимо, чтобы испытуемый эксперт ясно понимал по­становку тестовой задачи,

- необходимо, чтобы испытуемый эксперт ясно понимал условия, которым должно удов­летворять ее решение;

-вероятность случайного угадывания решения задачи должна быть близка к нулю.

Представляется, что эти требования необходимо допол­нить следующими:

- тестовая задача должна иметь точное ре­шение; должна быть обоснована близость тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.

Перечисленные выше требо­вания имеют наиболее общий характер и в силу этого при­менимы к тестовым задачам любого типа. Для специфичес­ких задач такого рода перечень требований может быть су­щественно расширен, как это и сделано, например, в работе В. В. Скворцова. Рассмотрим некоторые возмож­ные направления применения тестовой методики для оценки качества экспертов.

Оценка воспроизводимости результата – может применяться как один из методов тестовой методики для оценки качества экспертов.

Оценка квалиметрической компетентности эксперта. Как уже отмечалось ранее, квалиметрическая компетентность эксперта представляет собой сложное понятие, включающее в себя ряд свойств. Для удобства последующего анализа представим это понятие в виде иерархической структурной схемы — см. рис. 1.3.

Рассмотрим возможные способы применения тестового метода для оценки отдельных свойств, характеризующих практическое умение эксперта использовать методы оценки качества.

Рис. 1.3 Структурная схема свойств квалиметрической компетентности экспертов

Умение использовать разные типы оценочных шкал. В зависимости от ряда условий, выносимые экспертами количественные оценки могут выра­жаться в различных шкалах измерения - в шкале порядка, шкале отношений, шкале интервалов и т. д.

Однако имею­щиеся в литературе данные, а также прак­тический опыт показывают, что среди специалис­тов иногда встречаются индивидуумы, которые с трудом оперируют некоторыми видами шкал (например, шкалой отношений). Представляется, что в связи с этим было бы полезным и сравнительно нетрудным разработать тестовую методику дихотомического типа (определяющую «пригод­ность» — «непригодность»), с помощью которой можно было бы на этапе формирования экспертной группы отсеивать кандидатов, психологически мало приспособленных к опе­рированию различными шкалами оценок.

Умение определять субъективные вероятности. При вы­несении некоторых видов оценок, например при определе­нии коэффициентов весомости некоторых событий, экспер­ту иногда приходится использовать понятие субъективной вероятности их наступления. Кроме того, в ряде современ­ных методик оценки качества от эксперта требуется не толь­ко давать количественные оценки каким-то признакам экспертируемого им объекта, но и определять субъективную вероятность (субъективную уверенность) в правильности этих оценок причем есть веские основания полагать, что в применении подоб­ной процедуры опроса кроется один из способов повышения точности экспертных оценок.

Однако, как показывают специальные исследования, способности пра­вильно оценивать субъективные вероятности очень сильно (иногда — на порядок) различны у разных людей. Специ­фичность использования вероятностных характеристик про­является и в том, что, как отмечают Ю. В. Чуев и Г. П. Спехова, «... эксперты очень редко улавливают раз­ницу между математическим ожиданием некоторой величи­ны и ее наиболее вероятным значением». Наконец, иногда встречаются индивидуумы, вообще не способные опериро­вать понятием субъективной вероятности. Все сказанное свидетельствует в пользу необходимости исполь­зования специального теста, с помощью которого можно было бы оценивать умение кандидата в экспертную группу достаточно точно определять субъективные вероятности.

Умение различать достаточное число градаций оцени­ваемого свойства. Чем большее количество градаций шкалы способен различать эксперт при оценке каждого свойства (иначе говоря, чем слабее улавливаемые им различия в интенсивности проявления каждого свойства), тем при прочих равных условиях достовернее будут экспертные оценки. В этом от­ношении способности отдельных людей могут колебаться в очень широких пределах. Например, опытным путем уста­новлено, что отдельные испытуемые способны раз­личать в 8 раз меньшие концентрации сладкого, чем «сред­ние» испытуемые. Известно также, что если обычный чело­век различает несколько десятков оттенков цвета, то опыт­ный художник — несколько сотен. Подобное различие в способностях человека к восприятию имеет место в отноше­нии не только таких свойств, как вкус, цвет и т. д., но и лю­бых свойств, характеризующих качество продукции. По­этому желательно проведение тестовых испытаний, позволя­ющих отбирать в экспертную группу специалистов с наилучшей способностью различать градации оцениваемых свойств (или, как принято говорить в экспериментальной психологии, с наименьшим порогом восприятия).

Теория и практика подобного тестирования лучше раз­работаны для экспертов, занимающихся органолептической оценкой качества пищевых продуктов. При этом числовые оценки, характери­зующие порог восприятия эксперта, можно получить с достаточно высокой (до 99,9%) степенью достоверности.

В других сферах оценки качества такие тесты практи­чески еще не применяются. Поэтому при разработке подоб­ных тестов целесообразно использовать опыт, накопленный при проведении органолептических экспертиз.

Оценка объективности корректирования своих оценок (отсутствия конформизма). В ходе обсуждения между каждым экспертом и остальными членами экспертной группы возможно взаимное влияние. При этом, во-первых, обяза­тельно происходит взаимный обмен информацией, во-вто­рых, на выносимые экспертом оценки могут (но не обяза­тельно) влиять некоторые обстоятельства, не связанные с различиями в информированности, например авторитет ос­тальных членов группы, психологическая неуверенность эксперта в правильности своего суждения и т. д.

Возмож­но, например, и обратное явление, т. е. влияние экс­перта на группу. В подобных ситуациях, при которых су­ществует расхождение в суждениях эксперта и группы, эксперт подстраивается под мнение группы (причем, он де­лает это не потому, что он действительно хуже информирован, чем группа, а потому, что ему кажется, что он хуже информирован): проявляется так называемый конформизм эксперта. Еще в 1928 г. В. М. Бехтерев и М. В. Ланге так определяли психологическую сущ­ность явления конформизма: «... мы избегаем крайних суждений, стремясь, часто бессознательно, к единству во взглядах и мнениях с другими, признаваемыми нами за бо­лее сильных». Иногда считают, что явление конформизма, потенциально возможное во всех случаях вынесения груп­пового суждения, при некоторых условиях может иметь и положительное значение. Однако при экспертной оценке качества конформность, безусловно, является отрицатель­ным фактором.

Что касается определения склонности эксперта к кон­формизму, то в социологии для этой цели очень часто ис­пользуют так называемый «метод подставной группы». Сущность этого метода заключается в том, что испытуемому лицу и группе других лиц, предварительно договорившихся с экспериментатором («подставная группа»), показывают какой-то предмет, характеристику которого (например, размер, форму или цвет) испытуемый должен определить. Прежде чем вынести свое суждение, испытуе­мый знакомится с суждениями остальных членов группы, не подозревая, что эти суждения являются заведомо невер­ными. Степень приближения суждения испытуемого к суж­дению подставной группы и характеризует меру его кон­формности.

Для оценки конформности предлагается простое выражение

К_ком=С₂-С₁

где

С₂ – количество ошибок испытуемого при самостоятельном вынесении им суждения;

С₁ – количество ошибок испытуемого при вынесении им суждения совместно с подставной группой.

Необходимо отметить, что пока еще не разработаны до­статочно простые и надежные тесты, позволяющие опреде­лять конформизм эксперта, занимающегося оценкой качест­ва продукции. Кроме того, при разра­ботке таких методов могут возникнуть проблемы этического порядка, связанные с необходимостью оценивать некоторые стороны объективности специалистов-экспертов. В нас­тоящее время при всей ее перспективности оценка конфор­мизма эксперта на практике еще не применяется.