1Подробнее см.: Perreauit w.D., Leigh l.E. Reliability of Nominal Data Based on Qualitative Judgments//Journal of Marketing Research. 1989. 26. P. 135—148.

Но, пожалуй, одной из наиболее часто применяемых мер согласия является «каппа Коэна» (Cohen's kappa)², вычисляемая по формуле:

где π_jj — вероятность того, что кодировщик 1 закодирует объект размерностью і, а кодировщик 2 закодирует этот же объект размерностью j. Или, другими словами, это разность между долями согласных и несогласных ответов, деленная на разность между 1 и долей несогласных ответов:

Понятно, что каппа (() может изменяться от 1 (полное согласие двух кодировщиков в оценке объектов) до -1 (полное несогласие). Особый случай, когда каппа равна 0. Это означает, что с таким же успехом можно было бы попросить оценить объекты два генератора случайных чисел.

2Подробнее см.: Cohen j. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960. 20. 37—46.

Все вышеприведенные формулы предназначены для номинальных категорий, и все в той или иной мере используются в контент-анализе. Но, независимо от используемой формулы, приемлемым считается уровень надежности не менее 80%.

Для оценки надежности порядковых и интервальных категорий используются обычные корреляции и ранговые корреляции. Однако здесь существует опасность ошибки при оценке надежности, связанная с тем, что корреляционные коэффициенты указывают направление связи, ничего не говоря о самих значениях. Предположим, мы оцениваем по 5-балльной шкале уровень эмоциональных мотиваций в рекламе, где 1 — «полное отсутствие эмоциональных мотиваций», а 5 — «наличие только эмоциональных мотиваций» (табл. 6):

Таблица 6. Пример таблицы сопоставления оценок различных кодировщиков

№ ролика	Оценка кодировщика 1	Оценка кодировщика 2
1	1	3
2	2	4
3	3	5

Считаем коэффициент ранговой корреляции. Получаем +1.0, надежность стопроцентная, хотя даже на глаз видно, что кодировщик 1 гораздо ниже оценивает наличие эмоциональных мотивов в рекламе.

Анализ и интерпретация данных контент-анализа

Анализ данных, полученных после кодировки рекламных объявлений, следует логике обычных методов количественных исследований — рассчитываются проценты, средние, медианы, моды, строятся кросс-таблицы, значимые различия и т.п. Поэтому мы не будем подробно останавливаться на данном этапе. Желающие могут более подробно ознакомиться с методами анализа по соответствующей литературе¹.

Использование результатов

Целью контент-анализа является помощь в лучшем понимании рекламной практики в целом, особенностей конкретных рекламных стратегий, изучении конкурентной рекламной среды.

Что касается связей между элементами рекламы и эффективностью рекламы, то, оставаясь в рамках только контент-анализа, исследовать эти связи невозможно. Однако сочетание контент-анализа рекламных объявлений и одновременное изучение потребительского поведения (знания, отношения, отклика) позволяет выявлять эти связи не на уровне рассуждений о здравом смысле или интуиции (как говорил один персонаж Геннадия Хазанова: «Спинным мозгом чувствую — блондинка»),а с помощью строгих математических процедур.

Рассмотрим пример подобного исследования Института изучения читательской аудитории². Этот институт был основан в 1999 г. — по инициативе Американской газетной ассоциации (Newspapers' Association of America). Основной его задачей является наиболее полное и глубокое изучение читательской аудитории. Главный проект института — волновое исследование Impact, основанное на изучении выборки из 100 ежедневных и воскресных газет, а также опросах респондентов на суммарной годовой выборке 37000 человек. В опросах изучаются медиапредпочтения респондентов (и газет, в частности), их реакции на прочитанное, потребительское поведение. В контент-анализе были исследованы 74000 статей, охватывающие все типы новостей, а также некоторые виды рекламы. Такой двусторонний подход позволяет выявить связи между содержимым газет и реакцией читателей, их удовлетворенностью материалами и способами их подачи. Кроме того, предметом изучения являются коллективы редакций и журналисты.

¹Подробнее см: Малхотра Н. Маркетинговые исследования. Практическое руководство. М.: ИД "Вильяме", 2002. Черчилль Г.А. Маркетинговые исследования. СПб.: ПИТЕР, 2000.

²Readership Institute, Media Management Center division at Northwestern University. USA. readership.org.

Ключевыми вопросами исследования являются:

• что именно дает возможность газете выделиться из общей массы других газет, что привлекает в ней читателей?

• как то или иное конкретное содержание газеты влияет на читательское поведение?

• какое влияние на читательскую аудиторию имеет пишущий состав газеты, ее редакционная политика, культура и философия данного издания?

Широкому распространению контент-анализа препятствует большая доля ручного труда и, соответственно, растянутые сроки получения результатов. В динамичной ситуации развивающихся рынков, когда дорога каждая неделя, а подчас и каждый день, базовая процедура контент-анализа не пользуется популярностью. В принципе, возможно существенное сокращение времени анализа, если на стадиях выдвижения гипотез и формирования системы категорий отказаться от предварительного изучения рекламных сообщений и задать априорные гипотезы и такую же систему категорий. Однако такой подход грешит сильным влиянием личности исследователя (или заказчика), т.е. той самой субъективностью, от которой старается уйти сам метод контент-анализа. Одним из возможных выходов из такой ситуации является использование новых информационных технологий.

Оценивая в целом как теорию, так и примеры контент-анализа, мы хотели бы отметить, что данный метод в сочетании с другими приемами исследования рекламы может быть мощным инструментом анализа эффективности рекламы. Разумеется, если он в опытных руках. Главное достоинство контент-анализа в том, что он позволяет выявлять объективные связи между содержанием рекламы или какими-то ее характеристиками) и влиянием этой рекламы на потенциальных потребителей. Причем делается это все не примерно, «на глазок», а на вполне научных основаниях.