Внешние переменные в причинных исследованиях

Какие же внешние переменные надо учитывать, контролировать при планировании экспериментов?

1. История (H - History) Как бы хорошо мы ни подготовили и спланировали эксперименты, в период их проведения может что-то произойти. Рассмотрим, например, такой эксперимент: O₁ X₁ O₂. Здесь O₁ и O₂ - измерения продаж в сети универмагов определенного региона до и после новой кампании продвижения. Можно ли сказать, что если разность (O₁ - O₂) велика, то кампания эффективна или, если мала, то неэффективна? Конечно же, нет! Не исключено, что за это время произошло какое-нибудь событие, например, закрылся какой-либо завод. И чем дольше эксперимент, тем больше шансов, что за это время возникнет существенный внешний эффект.

2. Созревание (M - Maturation). Эффект созревания состоит в том, что в ходе эксперимента меняются в лучшую сторону сами объекты тестирования. Речь при этом не обязательно идет об обучении людей. Может меняться, совершенствоваться, например, магазин: улучшаться обслуживание, расширяться ассортимент и т. д. Таким образом, созревание - частный случай истории.

3. Тест-эффекты (Testing Effects). Под тест-эффектом понимается влияние самого факта замера на результаты эксперимента. Различают главный и интерактивный тест-эффекты. Главный тест-эффект (MT) возникает, когда первый замер влияет на результаты второго. Например, человек старается вспомнить, что он говорил первый раз. Поэтому, например, если человека спрашивают о разных брэндах товара, а между замерами ему была показана реклама, то оценка ее влияния будет искажена воспоминаниями об отношении к брэндам до показа рекламы. Таким образом, главный тест-эффект снижает внутреннюю валидность экспериментов. Интерактивный же тест-эффект (IT), напротив, снижает внешнюю валидность. Он заключается, например, в том, что человек, которого спрашивали об отношении к брэндам, более подготовлен к восприятию рекламы, чем тот, кому таких вопросов не задавали.

4. Инструментальная погрешность (I - Instrumentation). Этот эффект возникает, когда по тем или иным причинам приходится менять инструменты измерения, например, отдельные шкалы в анкете. Такая ситуация, скажем, вызвана деноминацией в январе 1998 года. Для восприятия человека, что ни говори, тысяча - это одно, а рубль - совсем другое. И, тем не менее, анкету менять надо! Другой пример - необходимость смещения шкалы просто для учета инфляции.

К инструментам измерения относится не только анкета, но и интервьюер. Даже если претест и посттест проводят одни и те же интервьюеры, то они сами меняются и это влияет на результат.

5. Статистическая регрессия (SR - Statistical Regression). Эффекты статистической регрессии означают дрейф крайних, отличающихся от остальных, оценок в сторону средней величины. Известно, что люди, склонные выражать восторженные или, наоборот, крайне негативные позиции, более других подвержены изменениям. Разница в результатах претеста и посттеста может быть следствием именно этого временного дрейфа, а не, скажем, показанной респондентам рекламы.

6. Смещение отбора (SB - Selection Bias). Этот эффект - результат изначально ошибочного назначения объектов тестирования: они могут оказаться исходно различными по значениям зависимых переменных. Например, обнаруженные различия между двумя группами магазинов, которым были назначены разные значения независимых переменных, могут быть всего лишь результатом того, что в первой группе просто оказалось больше крупных магазинов, чем во второй, а крупные магазины по-иному «откликаются» на тестовое воздействие.

7. Смертность (MO - Mortality). Речь тут идет о неизбежном иногда выбывании объектов тестирования между замерами. Чаще всего причиной являются их отказы от участия.