Пример описания процедуры и результатов экспертной оценки

В диссертационном исследовании Н. А. Шиленковой «Метод интроспекции в познании внутреннего мира психолога» изучались особенности интроспективного познания внутреннего мира профессиональным психологом (в отличие от не психолога). В качестве одного из эмпирических методов применялся метод интроспективного самоотчета; при обработке полученных от испытуемых интроспективных самоотчетов использовался метод контент-анализа.

Правомерность использования выделенных категорий для анализа проверялась посредством осуществления процедуры экспертного оценивания (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995; Богомолова Н.Н., Стефаненко Н.Г., 1992). Экспертам были представлены таблица, содержащая описание категорий контент-анализа интроспективных самоотчетов (Таблица 4), таблица эмпирических индикаторов категорий контент-анализа (Таблица 5).

Таблица 4.

Описание категорий контент-анализа

текстов интроспективных самоотчетов

Категории контент-анализа	Формальные признаки категорий
Физиологические Проявления	Высказывания, сообщающие о наблюдении субъекта за физиологическими проявлениями своего состояния, описания происходящих явлений в теле субъекта
Эмоциональные Явления	Высказывания, сообщающие о наблюдении субъектом за эмоциональными явлениями: чувственным тоном, чувствами, эмоциями, состояниями
Познавательные психические процессы	Высказывания о наблюдении за процессами памяти, внимания, мышления
Индивидуальные Характеристики	Высказывания испытуемого о своих психических свойствах, устойчивых характеристиках, представлениях о себе и своих социальных ролях
Мотивационная сфера	Высказывания, отражающие желания, ожидания испытуемых, наблюдаемые в процессе эксперимента
Волевая сфера	Высказывания, характеризующие наблюдение субъекта за саморегуляцией своей деятельности
Действия	Высказывания, отражающие наблюдение субъекта за собственными действиями непосредственно в процессе самоотчета
Внешние явления.	Высказывания, описывающие явления внешнего мира
Метафорический образ	Описание наглядного выражения внутренних переживаний человека

Таблица 5.

Эмпирические индикаторы категорий контент-анализа текстов интроспективных самоотчетов

Категории контент-анализа	Эмпирические индикаторы категорий
Физиологические проявления	«Горят щеки»; «дышу более глубоко»; «чувствую неприятный привкус во рту»; «слегка дрожат руки»; «чувствую тяжесть в ногах»; «у меня слегка онемела левая рука»; «легкое покалывание в области сердца»; «тяжесть в желудке»; «глаза какие-то сухие»; «зачесалась нога»; «чуть вспотел»; «периодически урчит в животе»
Эмоциональные явления	«Раздражение на себя»; «успокаиваюсь»; «стало весело»; «возбужден»; «спокойствие»; «злость легкая»; «неловко»; «сейчас со мной происходит что-то неприятное»; «эмоциональное состояние снова изменилось»; «состояние расслабленности, покоя, уверенности»; «досада; испытываю напряжение»; «раздражение исчезло»; «чувствию облом (фрустрацию), что еще 5 минут надо писать»; «ура!»
Познавательные психические процессы	«Необходимо изменение обстановки»; «Ты с утра ничего не ел!»; «но сейчас думаю о кое-каких событиях»; «сейчас обострился слух»; «вопрос: « При чем тут время выполнения задания?»; «как быть, когда теряешь близкого человека»; «задумалась; много различных мыслей»; «нечеткость мыслей»; «мысли какие-то неясные»; «мысли о том, что делаю какие-то знакомые тесты»; «иногда отвлекаюсь на другие мысли»; «легкая рассеянность внимания»; «воспоминания о том, как раньше на других консультациях просили прислушаться к ощущениям внутри себя»; «а вдруг надо что-нибудь нарисовать»
Индивидуальные Характеристики	«Если бы я не была такой законопослушной (ответственной)»; «я солидный, красивый»; «а я на самом деле красивая, умная»; «никогда не считала себя особо тревожной»; «эта излишняя самоуверенность бросается в глаза»; «самооценка высокая»; «склонна к независимости»; «мне кажется, я патологически добра»; «не совсем уверена в себе»; «хорошая мама и жена»
Мотивационная сфера	«Хочется просто посидеть, помечтать»; «чувствую желание двигаться дальше сегодня по намеченному маршруту»; «я не хочу негативных переживаний»; «делать ничего не хочется»; «уже не хочется рефлексировать»; «желание позвонить домой»; «вообще хочется все сразу, но ничего конкретного»; «желание вырасти профессионально и невозможность его осуществления»; «вроде бы хочется спать»; «жду реакции экспериментатора»; «еще с радостью ожидаю конца рабочего дня»; «предчувствие приятного события»; «мечтания о карьерном росте в «Мери Кей»; «жду звонка»; «ожидание чего-то нового и интересного»; «ожидание»
Волевая сфера	«Небольшое напряжение ввиду того, что приходится перерабатывать свое нежелание уходить в себя»; «внешне стараюсь не проявлять это»; «надо сконцентрироваться и сказать: «Я сильная, я смогу»; «надо, не хочу, борюсь, делаю»; «иными словами, и сейчас, заставляю себя с надеждой на перемены»; «пытаюсь сосредоточиться на задании»; «не могу сидеть спокойно; «воля»
Действия		«Я сижу за столом»; «начинаю писать»; «сейчас спросил: «Как долго это будет продолжаться?»; «левая нога иногда постукивает»; «сейчас откусила пирожное»; «упорно пишу»; «почесала в затылке»; «смотрю на экспериментатора»; «начала покусывать губы; сжала губы»
Внешние явления		«Тихо шумит компьютер»; «увидел, что исследователь рисует цветочки»; «после просьбы написать о себе большее внимание притягивает окружение, звуки, цвета, интерьер»; «реагирую на звуки в коридоре»; «весна»; «на улице хорошая погода»
Метафорический образ		«Мысли, как полет птиц, пронзили, улетели»; «такое же, как безветренный день без солнца»; «обычно я «водопад», а сейчас скорее озеро спокойное»; «сижу как на иголках»; «я похожа на маленького зверька, забитого в угол, зыркающего на других оттуда с испуганным взглядом»; «чувствую себя «кроликом»; «воплощение» старшего научного сотрудника, научного соискателя, находящегося перед «глыбой» годового отчета или скучным разделом диссертации».

Перед экспертами ставились 3 задачи: 1. Выделить в текстах свободных самоотчетов законченные по смыслу высказывания, суждения испытуемых; 2.Произвести идентификацию категорий контент-анализа; 3. Произвести идентификацию подкатегорий контент-анализа.

Группа экспертов состояла из 4 человек, имеющих психологическое образование (преподаватели кафедры психологии Пермского государственного университета, практические психологи). Для анализа экспертам была предложена выборка текстов, случайно отобранных из общего массива, с инструкцией выделить в них законченные по смыслу высказывания и распределить их по соответствующим категориям. Для выполнения третьей задачи экспертам предлагались таблицы уже выделенных в текстах самоотчетов категорий контент-анализа с инструкцией распределить их по соответствующим подкатегориям.

Ниже приводятся результаты проведенной экспертизы:

• Оценка адекватности выделения в текстах свободных самоотчетов законченных по смыслу высказываний, суждений испытуемых представлены в таблице 6.

Таблица 6.

Степень согласованности экспертов с выделением единиц контент-анализа

Процент совпадений	I Эксперт	II эксперт	III эксперт	IV эксперт
	94,4	90,9	94	91,3

Общий процент совпадений у 4-х экспертов составил 92,7%, т.е. за незначительным исключением эксперты были согласны с выделением единиц контент-анализа.

Анализ полученных результатов показал, что выделение экспертами законченных по смыслу высказываний, содержащихся в одном предложении или предъявленных через запятую, не вызывал трудностей при работе с эмоциональными явлениями (даже близкими по своему содержанию); и наоборот, вызывал трудности при работе с физиологическими проявлениями и мотивационной сферой. Например: высказывание «Самочувствие хорошее; в теле приятные ощущения в области плеч» было идентифицировано как одно законченное по смыслу высказывание; высказывания «Писать не хочу, хочу петь»; «Желание сходить куда-нибудь, пообщаться с хорошими людьми» также были идентифицированы некоторыми экспертами как одно законченное высказывание. Это свидетельствует о необходимости в дальнейшем предъявлять экспертам наряду с инструкцией конкретные примеры выделения единиц контент-анализа.

• Оценка адекватности идентификации категорий контент-анализа.

А) степень согласованности экспертов по идентификации категорий контент-анализа: общий процент совпадений – 87,8%; распределение совпадений по экспертам: I – 93,3%; II – 83,3; III – 93,3; IV- 81,3%.

Б) степень согласованности экспертов по каждой из категорий контент-анализа:

Физиологические проявления. Общий процент совпадений – 90,6%; распределение совпадений по экспертам: I –100%; II – 87,5%; III – 93,6%; IV – 81,25%.

Эмоциональные явления. Общий процент совпадений – 88,5%; распределение совпадений по экспертам: I – 99,2%; II – 79,8%; III – 96,8%; IV – 78,2%.

Познавательные психические процессы. Общий процент совпадений – 77,5%; распределение совпадений по экспертам: I – 62%; II – 86,2%; III – 86,2%; IV – 75,9%.

Индивидуальные характеристики. Общий процент совпадений – 95%; распределение совпадений по экспертам: I – 100%; II – 100%; III – 80%; IV – 100%.

Мотивационная сфера. Общий процент совпадений – 91,3%; распределение совпадений по экспертам: I – 90,4%; II – 92,3%; III – 92,3%; IV – 90,4%.

Волевая сфера. Общий процент совпадений – 80%; распределение совпадений по экспертам: I – 90%; II – 70%, III – 80%; IV – 80%.

Действия. Общий процент совпадений – 70,7%; распределение совпадений по экспертам: I – 66,7%; II – 66,7%; III – 100%; IV – 66,7%.

Внешние явления. Общий процент совпадений – 75%; распределение совпадений по экспертам: I – 77,8%; II – 66,7%; III – 88,9%; IV – 77,8%.

Метафорический образ. Общий процент совпадений – 75%; распределение по экспертам: I – 60%; II – 80%; III – 80%; IV – 80%.

Таким образом, общий процент согласованности экспертов по идентификации категорий контент-анализа позволяет говорить о возможности со значительной степенью объективности осуществлять распределение высказываний по предложенным категориям. Наибольшее согласие достигается при идентификации индивидуальных характеристик, мотивационной сферы, физиологических проявлений, эмоциональных явлений. Относительно невысокий процент согласованности по категориям «действия», «волевая сфера», «внешние явления», «метафорический образ» может быть объяснен недостаточной представленностью в предложенных для экспертизы текстах индикаторов перечисленных категорий (3, 10, 9, 5 – соответственно).

Несогласие экспертов с идентификацией той или иной категории контент-анализа в ряде случаев объяснялось тем, что описание категории предъявлялось в наиболее обобщенной форме, что давало экспертам некоторую свободу при интерпретации и было интересным на данном этапе исследования. Например, высказывание: «На улице холодно, падает снег» одним из экспертов было отнесено к эмоциональным явлениям, а не к категории, отражающей наблюдения за внешними явлениями. Или высказывание «Интерес к происходящему» отнесено к мотивационной сфере, а не к эмоциональным явлениям. Таким образом, анализ полученных экспертных оценок показал необходимость предоставления более детального описания каждой категории контент-анализа с приведением конкретных примеров, представляющих эмпирические индикаторы.