Способы контроля внешних переменных

Есть четыре способа контроля внешних переменных или, по-другому, помех. Это - рандомизация, выравнивание, статистический контроль и дизайн-контроль.

1. Рандомизация (Randomization). Рандомизация - это разнесение объектов тестирования по группам с использованием случайных чисел. Каждой из этих групп, например, показывается свой вариант рекламного ролика. В результате такого разнесения внешние факторы распределяются более или менее равномерно. Важно отметить, что рандомизация не спасает при малых выборках: внешние переменные недостаточно усредняются. Чтобы убедиться в допустимости рандомизации, надо сравнивать средние значения внешних переменных в группах, образованных в результате ее проведения.

2. Выравнивание (Matching). Этот метод состоит в разбиении совокупности объектов тестирования на классы схожих по внешним характеристикам и отборе по одинаковому числу схожих объектов в каждую группу. У этого метода два недостатка. Во-первых, по всем параметрам выровнять невозможно. Во-вторых, если выравнивание произвели не по тем параметрам, по которым надо, вся работа становится бесполезной.

3. Статистический контроль (Statistical control). Речь идет о применении метода дисперсионного анализа для оценки значимости влияния независимых переменных на зависимые. При этом учитываются также и внешние переменные.

4. Дизайн-контроль (Design control. Дизайн-контроль означает применение планов экспериментов, специально разработанных для исключения влияния определенных внешних переменных. О том, какие именно дизайны тут применимы, мы узнаем из следующего подраздела.

Классы экспериментальных дизайнов

Рассмотрим три важных класса экспериментальных дизайнов: предэкспериментальные, истинно экспериментальные и квазиэкспериментальные дизайны.

Предэкспериментальные дизайны (Preexperimental designs)

Особенность их в том, что здесь не применяется рандомизация.

a) Одномоментные исследования (One-Shot Study). Это дизайны типа: X O₁. Отбор объектов тестирования исследователь делает произвольно. Поэтому результат измерения может объясняться не только воздействием, но и неконтролируемыми внешними параметрами. Поэтому такие дизайны пригодны лишь для поисковых исследований.

b) Претест - посттест дизайны с одной группой. «Формула» этих дизайнов: O₁ X O₂. Эффект воздействия X выражается формулой: (O₂ - O₁). Однако, поскольку контрольная группа при таком дизайне отсутствует, валидность остается под вопросом из-за возможного влияния большого числа неконтролируемых помех.

c) Дизайн статических групп (Static Group). Эти дизайны выражаются «формулой»: Экспериментальная группа (EG): X O₁. Контрольная группа (CG): O₂. Эффект воздействия X выражается формулой: (O₁ - O₂), недостаток дизайна - чувствительность к смещению отбора (SB). Действительно, при его использовании невозможно проверить, существенны ли различия между экспериментальной и контрольной группами.

Истинно экспериментальные дизайны

d) Посттест дизайны с контрольной группой (Posttest Only Control group Design). «Формула» этих дизайнов проще: Экспериментальная группа (EG): R X O₁. Контрольная группа (CG): R O₂. Эффект воздействия определяется разностью (O₁ - O₂). Такой дизайн снимает проблему интерактивного тест-эффекта, но чувствителен к смещению отбора (SB) и смертности (MO). Первое, так как тут как бы негласно предполагается, что у этих групп независимые переменные до воздействия были одинаковы. Проверить же это не представляется возможным. Второе, так как неизвестно, похожи ли между собой представители экспериментальной и контрольной групп, выбывшие в ходе эксперимента. Несмотря на эти недостатки, данная разновидность дизайнов наиболее популярна в маркетинге, благодаря простоте организации и относительной дешевизне. Погрешности же стараются преодолеть путем аккуратной разработки процедур отбора. Претест-посттест дизайны с контрольной группой (Pretest-Posttest Control group Design) . «Формула» этих дизайнов: Экспериментальная группа (EG): R O₁ X O₂. Контрольная группа (CG): R O₃ O₄. Эффект воздействия X выражается формулой: (O₂ - O₁) - (O₄ - O₃). Данный дизайн, в отличие от предыдущих, позволяет контролировать все вилы помех, кроме одного - интерактивного тест-эффекта (IT), то есть эффекта подготовленности к восприятию воздействия, благодаря предварительному замеру O₁.

Покажем на этом примере, как принято обосновывать такого рода утверждения.

Обозначим эффект воздействия через TE. Запишем, что разность (O₂ - O₁) складывается из эффекта воздействия плюс всех возможных помех, кроме смещения отбора (SB), которая отсутствует, благодаря случайному отбору объектов тестирования R. А именно: (O₂ - O₁) = TE + H + M + + MT + IT + I + SR + MO, где:

история (H) - когда что-то происходит за время эксперимента,

созревание (M) - независящее от эксперимента совершенствование объектов тестирования,

главный тест-эффект (MT) - когда первый замер смещает результаты первого,

интерактивный тест-эффект (IT) - когда человек, которому задавали вопросы, по-другому воспринимает само воздействие,

инструментальная погрешность (I) - когда меняется анкета, интервьюеры,

статистическая регрессия (SR) - когда смещаются крайние оценки и, наконец

смертность (MO) - выбыванию объектов тестирования между замерами.

Вторая разность (O₄ - O₃) = H + M + MT + I + + SR + MO отличается от первой только отсутствием эффекта воздействия (TE) и интерактивного тест-эффекта (IT). Вычитая второе равенство из первого, получим: (O₂ - O₁) - (O₄ - O₃) = TE + IT.

Какой же вывод следует из нашего рассмотрения истинно экспериментальных дизайнов? Каждый из них не лишен недостатков. Единственный дизайн, полностью «справляющийся» со всеми видами помех - Соломонов дизайн с четырьмя группами, который мы здесь не приводим. Он практически никогда не используется из-за чрезвычайной сложности и дороговизны.

Квазиэкспериментальные дизайны

Эти виды дизайнов используются, когда мы не можем контролировать помехи так, как нам бы хотелось. Эти дизайны быстрее и дешевле истинно экспериментальных.

f) Дизайн временных серий (Time Series Design). Его «формула» проста:

O1 O₂ O₃ O₄ O₅ X O₆ O₇ O₈ O₉ O₁₀. По такой схеме делаются, например, замеры эффективности уже не «лабораторной», а широкой рекламной кампании. Предположим, у нас есть панель. Мы знаем план рекламной кампании, но не можем проконтролировать, когда именно каждый из участников панели встретит нашу рекламу, да и встретит ли он ее вообще. Основной недостаток такой схемы - чувствительность к такой помехе, как история.

g) Дизайн множественных временных серий (Multiple Time Series Design)

Он компенсирует влияние истории и выражается «формулой»:

O₁ O₂ O₃ O₄ O₅ X O₆ O₇ O₈ O₉ O₁₀

O₁₁ O₁₂ O₁₃ O₁₄ O₁₅ O₁₆ O₁₇ O₁₈ O₁₉ O₂₀ .

На практике такой дизайн означает, например, что рекламная кампания проводится только в некоторых городах. Другой вариант - адресная реклама через кабельные телевизионные сети. Конечно, квазиэкспериментальные дизайны не лишены недостатков. Но, во-первых, нередко это единственное, что можно сделать, а, во-вторых, возможность ошибок не означает, что они обязательно есть.

Тест-маркетинг (Test-Marketing или Market Testing)

Говоря о причинных исследованиях, надо сказать хотя бы несколько слов об их важнейшей разновидности - тест-маркетинге, то есть реальных рыночных экспериментах, проводимых под контролем в специально отобранной достаточно большой части рынка. В ходе тест-маркетинга проходит проверку не просто товар как таковой, а весь маркетинговый комплекс: товар (включая способ его позиционирования в глазах покупателей), цена товара, система его распространения и мероприятия по его продвижению.

Без тест-маркетинга крупномасштабные рыночные шаги обычно не предпринимаются, так как цена ошибки слишком велика. Так, в американские учебники попал пример производимых в России брэндов M&M и Марс. Так как тест-маркетинг не был проведен, осталось неясным, была ли их реклама по телевидению слишком непродолжительной, достаточной или избыточной.

Перечислим ряд правил организации тест-маркетинга, которые рекомендуется соблюдать для получения на его основе надежных выводов. Во-первых, надо стремиться, чтобы отобранная часть рынка была репрезентативной по демографии, потребительскому поведению, потреблению СМИ, конкурентной среде, условиям дистрибуции. Во-вторых, по опыту эта часть должна охватывать не менее 2% всего рынка. В-третьих, эксперименты желательно проводить не в одной, а в двух или даже в трех разных частях рынка. В-четвертых, нельзя выбирать для тест-маркетинга места, где часто проводятся такие эксперименты. В-пятых, продолжительность тестирования новых брэндов следует выбирать крайне осторожно. С одной стороны, она должна быть такой, чтобы первые покупатели успели совершить по повторной покупке, что нередко составляет десять месяцев и даже более. С другой стороны, при слишком длительном тестировании растет вероятность, что ваши эксперименты случайно, а чаще - намеренно, сорвет конкурент, выйдя на выбранную вами часть рынка со своим новым продуктом без всякого тест-маркетинга. Таким образом, тест-маркетинг следует рассматривать как один из важных инструментов конкурентной борьбы.

Достоинства и недостатки причинных методов исследований по сравнению с описательными (формализованными опросами и наблюдениями). К числу преимуществ причинных методов следует отнести то, что они позволяют: разбить респондентов на группы и назначить каждой из групп значения независимых переменных; отследить временную последовательность воздействия и замера; контролировать помехи. Недостатками же причинных методов являются: значительные временные затраты (особенно если надо полноценно выявить результаты длительных воздействий, например, реальной рекламной кампании); дороговизна; сложность организации.