Тема 5. Технология применения метода наблюдения и “экспертной оценки”

1. Аналитическое и стандартизованное наблюдения.

2. Согласованность и интеграция экспертных оценок.

Ключевые термины: поисковое наблюдение, стандартизованное наблюдение, аналитическое наблюдение, кодификация признаков, протокол наблюдения, согласованность экспертных оценок, надежность – валидность экспертных оценок, интегральный экспертный рейтинг.

Метод экспертных оценок в явном или неявном виде используется в психодиагностике в очень широком спектре задач и процедур. Он используется фактически везде, где имеет место не стандартизованный переход от диагностических признаков (эмпирических индикаторов) к диагностическим выводам (диагностическим категориям). Сюда относятся и проективные методики, и контент-анализ продуктов деятельности, и включенное наблюдение, и анализ материалов беседы. В своей наиболее явной форме он используется, как правило, в сочетании с так называемым стандартизованным “аналитическим наблюдением”.

1. Аналитическое и стандартизованное наблюдения Аналитическое наблюдение

Что такое “аналитическое наблюдение”? Чем оно отличается от обычного наблюдения? Где заканчивается поисковое и начинается собственно стандартизованное наблюдение? – Вот первые из наиболее важных вопросов в технологии наблюдения.

Кажется, что может быть проще, чем наблюдать за интересующим нас объектом? К этому самому простому методу сбора информации мы прибегаем всякий раз, когда у нас отсутствуют какие-либо другие более совершенные методы. Так чаще всего и происходит на практике. Исходя из ложного представления о том, что наблюдение – самый простой метод, молодые исполнители прибегают к стихийному и неорганизованному наблюдению под девизом “Надо присмотреться, авось что-нибудь увидим”.

На самом деле такое неорганизованное наблюдение оказывается малоэффективным. При научном подходе к наблюдению даже минимально организованное “поисковое наблюдение”, или “по­исковый этап”, все равно характеризуется рядом признаков, которые делают его эффективным:

1. Наличие цели и предмета наблюдения. Мы должны ответить себе на вопрос: за чем наблюдаем и с какой целью? В диагностике необходимо сформулировать для себя перечень психических свойств, которые являются предметом наблюдения. Цель может быть зафиксирована так: в какой степени выражены указанные психические свойства у наблюдаемых объектов ( в нашем случае – у детей).

2. Наличие процедурной схемы наблюдения, одинаковой для всех объектов наблюдения.

В каких условиях происходит наблюдение (в классе, на перемене, во время ответа у доски, во время выполнения самостоятельной или контрольной письменной работы, во внеклассных играх и мероприятиях и т.п.)?

Сколько времени продолжается один сеанс наблюдения?

Сколько всего сеансов предусматривается и с какой периодичностью?

Сколько объектов наблюдения охватывается одним наблюдателем за один сеанс (1 ребенок или сразу весь класс из 30 и более человек)?

Понятно, что не ответив на эти вопросы, можно заведомо обречь себя на стихийный перекос: за одними детьми мы больше наблюдали на уроке, за другими – вне урока и т.п.

О количестве объектов наблюдения, по-видимому, из курса общей психологии все должны знать о “магическом числе семь плюс-минус два”. Нецелесообразно за один сеанс следить более чем за 7 объектами одновременно.

Как видим, серьезное аналитическое наблюдение требует значительных усилий уже на первом этапе, на этапе осуществления плана. Это крайне трудно сочетать с активным решением психологических задач (ведением урока, руководством группой). Поэтому целесообразно освобождать наблюдателя на время наблюдения от непосредственной занятости работой.

3. Наличие признаков наблюдения. Это критический пункт плана наблюдения, по которому различаются поисковое и стандартизированное наблюдение. В поисковом наблюдении задача заключается в том, чтобы как раз обнаружить, выделить и однозначно описать признаки наблюдения. Речь идет о любых симптомах, поведенческих проявлениях (поступках) и других внешних признаках, по которым можно сделать вывод о наличии определенной выраженности искомого психического свойства. Выделение системы признаков – главный продукт поискового этапа, после которого наблюдение становится собственно аналитическим, то есть производится анализ признаков.

Стандартизованное наблюдение

В стандартизованном – набор признаков уже задан в инструкции (подготовленной для наблюдателя другим исполнителем – автором данной методики стандартизированного наблюдения).

Если наблюдение производится в практических, а не в исследовательских целях, то поисковое наблюдение никогда не завершается на поисковом этапе и после выделения минимального набора признаков переходит на “этап реализации – этап фиксации” выделенных признаков и статистики (частоты) их появления у наблюдаемых объектов. Иногда этот этап называется “кодировани­ем”.

Приведем простейший пример.

Пусть нас интересует такое психическое свойство детей, как “экзаменационная тревожность”. Этот термин пришел из психологической службы вузов, где студентам постоянно приходится сдавать экзамены. В школе он обозначает особую тревожность детей при выполнении любого задания, за которое они заведомо будут аттестованы (в частности, за ответ у доски).

Каковы внешние признаки тревожности? Один из очевидных признаков – “мышечный тремор” (обыкновенная дрожь). В состоянии тревожного возбуждения дрожат не только руки, но и мышцы голосовых связок, что придает голосу характерную неровную интонацию. Выраженный мышечный тремор (в стадии, сильно заметной для постороннего наблюдателя), очевидно, является более “сильным” признаком тревожности, чем изменение окраски лица (как известно, покраснение или побледнение является следствием так называемой вазомоторной, или сосудистой, реакции, появляющейся в состоянии тревожного возбуждения). За “выраженный тремор” следует начислять 3 очка, за “выраженную вазомоторику” – 2 очка, а например, за единичную речевую запинку (синтакси­ческий и интонационный сбой в произнесении фразы или оговорка) – 1 очко.

Таким образом, полная инструкция для стандартизованного наблюдения должна включать максимально развернутые описания кодифицированных признаков (лучше с обоснованием их связи с диагностическими категориями).

Под кодификацией признака понимается то краткое обозначение, под которым данный признак фиксируется в протоколе наблюдения. Распространенный вариант – использование трехбуквенных обозначений. Например, “трм” – тремор, “взм” – вазомоторика, “зпк” – запинка.

Тогда фрагмент типичного протокола с кодифицированными признаками может иметь следующий вид:

Ситуация наблюдения: ответ у доски
Сеанс наблюдения №	1	2	3
Петров	Взм, 2 зпк	взм	зпк
Сидоров	трм	трм	----

Таким образом, на данном отрезке наблюдения Петров получил 7 очков по шкале “экзаменационной тревожности”, а Сидоров – 6 очков.

2. Согласованность и интеграция экспериментальных оценок Согласованность экспертных оценок

Как обеспечиваются надежность и валидность наблюдения? То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)?

Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят “живое” наблюдение, либо они имеют дело с видеозаписью.

После получения независимых протоколов между ними рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналогом коэффициентов корреляции для качественных признаков – Рунион, 1982).

Значение вычисленного коэффициента сопряженности указывает на свободный показатель “надежность + валидность”. Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей.

Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (не­валидность) ошибок наблюдения.

Обобщенно можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера “надежность-валидность” наблюдения.

Таким образом, в любом методе экспертной оценки в качестве меры “надежности-валидности” выступает согласованность оценок независимых экспертов.

Очевидно, что технология подобного эксперимента по измерению надежности – валидности наблюдения применяется теми, кто разрабатывает методику стандартизированного наблюдения. И поэтому в отличие от психометрической стандартизации теста важно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики.

Пояснение. Как учатся измерять артериальное давление медики? Им дают прослушивать записанный на аудиокассеты стандартный набор шумов. Они учатся различать систолические и диастолические тоны сердца. Они проходят так называемую “стандар­тизацию”. Только добившись определенного уровня точности (на­дежности), медик получает соответствующее аттестационное удостоверение, в котором фиксируется его право производить измерение артериального давления.

В идеале подобную стандартизацию на эталонном материале должны проходить все наблюдатели-кодировщики для исполнения любой методики стандартизированного наблюдения. То есть после того, как состоялась проверка самой методики на эталонном наборе наблюдателей и методика признается разработанной, каждый новый наблюдатель-исполнитель проходит стандартизацию по отношению к тому материалу, на котором добились успеха (то есть дали согласованные протоколы) первые наблюдатели.

Такова общая логика в разработке любой методики экспертной оценки.

Вначале первичный материал для оценки и инструкция по оценке считаются не стандартизированными, а в качестве своего рода эталона выступают те первые эксперты, которые с ним знакомятся и первыми добиваются согласованности (нередко путем многократного внесения уточнений и модификаций в инструкцию, кодифицирующую признаки).

После этого данный проинтерпретированный (запротоколи­рованный) материал уже в свою очередь считается эталонным, а новые эксперты проходят стандартизацию по отношению к этому материалу.

Чем больше независимых экспертов привлечено к этапу первичной обработки кодифицированной системы признаков и чем больше кодировщиков участвуют в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и случайные ошибки (вследствие колебаний внимания), и систематические ошибки (в силу неправильного толкования инструкции по какому-то признаку), допущенные одним экспертом, погашаются при суммировании с результатами других экспертов.

Другие эксперты также допускают ошибки, но это – разные ошибки. Если вероятность единичной ошибки у среднего эксперта равна, допустим, 0,2, то вероятность того, что одну и ту же ошибку совершает 3 (или больше) экспертов из 5, равна всего лишь порядка 0,05.

Коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности. (напомним, что 5-процентный уровень ошибки считается признанным стандартным допустимым уровнем вероятности ошибки в гуманитарных отраслях знания).

Принцип суммирования независимых экспертных оценок широко используется в такой общественной сфере, как спорт. Напомним, к примеру, о практике фигурного катания. Минимальное число судей присуждает победу в боксе – пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему – достаточным оказывается мнение трех других.

Массовое распространение компьютерной техники придает новый импульс методам стандартизированного наблюдения. Провести корректное согласование экспертных оценок и измерить их надежность-валидность вручную, конечно, довольно трудно. Другое дело – специализированные компьютерные программы, облегчающие и сбор, и анализ таких экспертных оценок. Образец подобной программы под названием ЭКСПАН (ЭКСПертный АНализ) распространяется в России фирмой “Гуманитарные технологии”, работающей на базе факультета психологии МГУ (разработ­чик – А.Г. Шмелев, 1990, 1995). С помощью этой программы вы можете оценить у целого класса учеников (до 50 человек) широкий набор (до 50) признаков с помощью весьма представительной группы экспертов (до 50 человек). ЭКСПАН быстро подсчитает как суммарную согласованность между экспертами (после этого можно удалить экспертов, которые совершенно не поняли смысла задания и сильно разошлись с оценками остальных), так и согласованность по отдельным признакам, что позволяет быстро определить, какие уточнения в инструкцию для данного признака нужно внести, чтобы добиться согласованности.

Интеграция экспертных оценок

Очень часто в задачах экспертной оценки мы имеем дело с необходимостью построить суммарную оценку объекта, то есть подсчитать так называемый “интегральный рейтинг” по оценкам, которые эксперты дают различным признакам (пара­метрам, показателям) объекта. Вспомним опять же всем известный пример с фигурным катанием. Общая оценка фигуриста суммируется из независимых оценок по двум показателям: “за технику исполнения” и “за артистизм”. Так и в школьном обучении. Например, интегральная успеваемость (“рейтинг успеваемости”) подсчитывается путем суммирования (или усреднения) оценок учеников по всем предметам. Но правильно ли, что все предметы (математика, родной язык) вносят в интегральный рейтинг такой же вклад, как относительно второстепенные предметы (хотя бы по числу учебных часов в неделю): пение, рисование и физкультура? Можно, например, учесть более важное значение главных предметов путем суммирования оценок по этим предметам с более весомым коэффициентом. Такой весовой коэффициент может, например, отражать число часов в неделю. Тогда обобщенная формула рейтинга R получит следующий вид:

R = P₁ ´ A₁ + P₂ ´ A₂ + … + P_k ´ A_k,

где А₁ – оценка объекта (субъекта) по 1-му показателю,

A_k – оценка объекта (субъекта) по k-му показателю,

P₁ – значимость (вес) 1-го показателя,

P_k – значимость (вес) k-го показателя.

В упомянутой выше программе ЭКСПАН такой показатель рассчитывается для всех учеников по всем признакам и по всем экспертам (в программе, естественно, реализована более сложная и универсальная формула, позволяющая привести рейтинг к единой шкале от 1 до 1000 с учетом разного количества показателей, разного количества экспертов и, возможно, разных оценок значимости P₁ для k критериев, которую дают разные эксперты).

Конечно, пример с оценками по учебным предметам есть только пример, призванный пояснить студентам смысл формулы “инте­грального рейтинга”. Сам по себе этот пример не имеет, по сути, никакого психодиагностического значения.

Более серьезный содержательный эффект подобный подход может иметь тогда, когда оценке подвергаются относительно элементарные составляющие такого, например, интегрального свой­ства, как “уровень сформированности учебной деятельности”. Оценки по предметам не всегда точно отражают этот наиважнейший показатель перспективы ученика на многие годы вперед, включая поступление и обучение в вузе, где важно иметь развитые навыки самообучения. Вот примерный и далеко не полный перечень возможных показателей для экспертной оценки (к ней, очевидно, должны быть привлечены учителя по всем главным предметам, имеющие дело с данным классом):

1) умение “активно слушать”, воспринимать и усваивать новый материал со слуха, во время объяснений учителя на уроке;

2) умение самостоятельно читать и усваивать новый материал по учебнику и другой учебной литературе;

3) высокий темп и точность действий по выполнению письменных заданий (самостоятельных, практических и контрольных работ) на уроке;

4) аккуратное выполнение домашних заданий, наличие своевременной и полной отчетности по письменным домашним заданиям и другим домашним работам;

5) умение удачно отвечать с места;

6) умение удачно отвечать у доски, объяснять и рассказывать усвоенный материал;

7) умение творчески применить усвоенный ранее материал к решению нового задания (сравнить новый и старый материал, сделать правильные выводы на основе этого сравнения), умение самостоятельно обобщать, интегрировать приобретенные знания; и т.п.

Уже этот далеко не полный и довольно поверхностный список так называемых обобщенных “умений” позволяет построить весьма полезный для педагогический работы “сквозной профиль” ученика. При этом выясняется (и это легко будет видеть на графической модели профиля), что, к примеру, у данного ученика Сидорова практически по всем предметам неплохо обстоит дело с “усво­ением”, но плохо с “применением”, а у ученика Семенова – неплохо с работой в классе, но совсем плохо – с работой дома. Кстати, программа ЭКСПАН суммирует все экспертные оценки и строит такой профиль автоматически.

Таким образом, кроме интегрального рейтинга весьма информативен именно диагностический профиль. Он несет в себе более ценную структурную, качественную, а не только количественную информацию.

По форме профиля (по наличию пиков и впадин на профиле) можно судить в данном случае о стиле учебной деятельности, устойчиво проявляющемся в работе ученика по разным предметам и с разными учителями.

Последующий анализ причин, почему, например, Семенов не может работать дома, позволяет вскрыть важные факторы, воздействующие на данного ребенка (как простейшие внешние в виде отсутствия подходящих жилищно-бытовых условий, так и менее очевидные факторы, как сверхвключенность в дворовую компанию или “телевизионный фанатизм” в развитой стадии).

Вполне вероятно, что еще не исчерпаны элементарные возможности по внешней коррекции и устранению этих факторов (выпол­нение домашних заданий в школе, например), которые могут принципиально улучшить общие показатели, общую успеваемость и интегральное самочувствие ребенка в школе.

В этом разделе технология касается больше общей формально-логической схемы применения методов наблюдения и экспертной оценки, и огромное разнообразие всевозможных вариантов применения этих методов здесь перечислить невозможно.