5. Ситуационные условия оценивания; такие как:
- степень усталости проверяющего;
- различия в оборудовании рабочего места и характеристиках условий труда (освещенность, температура помещения и т.д.);
- фактор чередования различных по качеству ответов или работ;
- воздействие на отметку общего уровня подготовленности класса.
До сих пор речь шла о субъективизме эксперта, работающего индивидуально, без непосредственного (очного) взаимодействия с другими. Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение достоверности результатов процедуры. Дело в том, что при этом возникают феномены интерсубъективного искажения результатов оценивания.
Существуют типы экспертиз:
Оценивание одиночным экспертом;
Оценивание группой экспертов: без взаимодействия между собой, при заочном взаимодействии в один или несколько туров, при очном взаимодействии в один или несколько туров.
Приемы экспертного оценивания:
1. Парные сравнения
Различают парные сравнения по предпочтению и по сходству. В первом случае мы имеем дело с более трудоемким и надежным вариантом методики ранжирования. Отличие в том, что когда испытуемый (эксперт) сравнивает все пары объектов — каждого с каждым, то возникает возможность получения дополнительной информации — о противоречиях в системе предпочтений. Это так называемые «нетранзитивные тройки». Например, испытуемый (эксперт) предпочитает красный цвет синему, синий — зеленому, а зеленый почему-то ставит выше красного. Круг замыкается. Эти данные могут быть весьма ценными в профконсультации, когда выбор идет из небольшого круга реально доступных и обсуждаемых школьником профессий.
При большом числе объектов методика парных сравнений оказывается слишком трудоемкой и продолжительной. Например, при 10 объектах необходимо выполнить 9 • 5=45 сравнений, и это еще выполнимо, а при 20 уже 19 • 10=190, и это уже очень тяжело из-за большой монотонности этого задания.
Часто за противоречиями (за нетранзитивными тройками) лежат разные субъективные критерии сравнения, разные личностные конструкты. Для их выявления применяется, кроме упомянутого выше сравнения по тройкам, парное сравнение по сходству. Для каждой пары объектов испытуемый дает суждение о том, насколько они похожи или близки между собой. Получается матрица N • К, которая затем обрабатывается различными компьютерными методами, и объекты автоматически размещаются в семантическом пространстве. Следом возникает задача интерпретации координат этого пространства. Лучше всего, когда она решается в диалоге с самим испытуемым, это отличный материал для углубления контакта и взаимопонимания с испытуемым.
2. Сортировка
Частный случай парных сравнений по сходству — методика сортировки. Здесь каждой паре объектов испытуемый ставит в соответствие фактически один из двух возможных баллов сходства «похожи» или «непохожи», так как все сходные объекты испытуемый помещает в один класс.
Методика позволяет охватить гораздо больше объектов, так как более экономична. Это могут быть 80—100 названий профессий (в профконсультации), известных людей (артисты, спортсмены, политики, ученые) и т.п.
Показано, что чем больше количество классов, на которые сортирует испытуемый объекты, тем более разветвленной и дифференцированной является внутренняя система понятий испытуемого, а также более аналитичным является его так называемый «когнитивный стиль».
Методику сортировки удобно применять при КОГНИТИВНОЙ ДИАГНОСТИКЕ — для изучения уровня сформированности системы понятий в какой-то научной или профессиональной отрасли знаний. Для этого надо предложить вначале выполнить данную методику эксперту — специалисту в данной области, а затем результаты учащегося сравниваются с эталонными результатами специалиста. В результате быстро можно понять, где именно в голове учащегося осталась неразбериха и путаница.