Эксперимент

1. Эксперимент как метод сбора маркетинговой информации

Эксперимент — метод сбора первичной информации путем активного вмешательства исследователя в определенные процессы с целью установления взаимосвязи между событиями.

В ходе эксперимента исследователь активно вмешивается в процесс появления данных, поскольку манипулирует воздействием отдельного фактора с целью выявления его влияния на состояние исследуемого объекта. Таким образом, на основе изолированных изменений переменных осуществляется проверка причинно-следственных связей между событиями. Поскольку эксперимент является практической деятельностью, его результаты применимы в качестве критерия при обосновании маркетинговых решений по выведению новых или усовершенствованных товаров, по ценообразованию, рекламным обращениям и другим мероприятиям по формированию спроса на конкретный товар и стимулированию сбыта на конкретном рынке. Основные условия проведения эксперимента:

• изменению подвергается только одна независимая переменная, состояние остальных переменных фиксируется;

• внешние условия проведения эксперимента должны быть стабильными;

• период проведения эксперимента должен быть достаточным для получения достоверных результатов.

Объектами эксперимента чаще всего выступают потребители предметом изучения, как правило, является их реакция на инструменты маркетинга.

Основные характеристики эксперимента

Как любой метод сбора маркетинговой информации эксперимент обладает достоинствами и недостатками. Знание тех и других сторон позволяет выбрать адекватную ситуации форму проведения эксперимента и грамотно реализовать его. Обобщенные характеристики эксперимента представлены в табл. 1.

Таблица 1Основные характеристики эксперимента как метода сбора маркетинговой информации

Достоинства

Недостатки

1. Возможность изучить причинно-следственные связи между событиями 2. Высокая объективность, поскольку результаты эксперимента — это фактически произошедшие события 3. Возможность проверить эффективность принятых маркетинговых решений, особенно по новым товарам (пробный маркетинг) 4. Возможность контролировать окружающую обстановку

1. Вероятностное утверждение насчет силы и характера влияния конкретной независимой переменной на зависимую переменную 2. Неуверенность в применимости результатов эксперимента для других условий среды 3. Наличие временного лага (периода времени) между завершением эксперимента и принятием маркетинговых решений Затрудненность в нивелировании влияния посторонних факторов 4. Высокие временные и финансовые затраты 5. Высокий уровень риска

Формы эксперимента

Разнообразие форм эксперимента представлено в табл.2. Формы эксперимента по степени материализации объекта исследования. Реальные эксперименты — проводятся на реально существующих объектах. Преимуществом этой формы эксперимента является естественная обстановка, к которой привыкли участники эксперимента, следовательно, на их поведении не отражается повышенное внимание исследователей к изучаемым реакциям на экспериментальное воздействие. Недостатком реальных экспериментов стали их дороговизна и длительность, а также сильная зависимость от стабильности внешних условий. Например, в период эксперимента по изучению реакции потребителей на снижение цены конкуренты могут провести аналогичную акцию, что исказит результаты эксперимента.

Таблица 2 Формы эксперимента

Классификацион­ный признак		Формы эксперимента
По степени материализации объекта исследования		Реальные эксперименты — проводятся на реально существующих объектах Имитационные эксперименты — проводятся на основе компьютерного моделирования реакции объекта Умозрительные (мысленные) эксперименты — проводятся на основе мысленной манипуляции информацией о свершившихся или возможных событиях, предполагает детальный анализ факторов, воздействующих на объект
По характеру окружающей обстановки		Лабораторные эксперименты (тестирование продукта) — проводятся в искусственно созданных условиях, чтобы имелась возможность фиксировать одни переменные и манипулировать другими Полевые эксперименты (тестирование рынка или пробный маркетинг) — проводятся в реальных условиях
По виду используемых каналов распределения		Стандартные эксперименты — пробный маркетинг осуществляется по обычным для фирмы каналам сбыта Электронные эксперименты — пробный маркетинг осуществляется на рынке с использованием электронных методов регистрации информации о покупке Контролируемые эксперименты — пробный маркетинг осуществляется при содействии специализированных фирм, использующих свои каналы распределения
По степени осведомленности участников (по степени открытости эксперимента)		Открытые эксперименты — проводятся в условиях полной осведомленности участников эксперимента о его цели, задачах и условиях проведения Эксперименты в условиях неполной «прозрачности» целей — проводятся в условиях осведомленности участников эксперимента только о его задачах и условиях проведения, цели эксперимента не ясны для тестируемого Эксперименты в условиях неполной «прозрачности» ситуации — проводятся в условиях полной осведомленности участников о цели и задачах эксперимента, но ситуация проведения не ясна для тестируемого Скрытые эксперименты — проводятся в условиях полной неосведомленности участников эксперимента о его цели, задачах и условиях проведения
По логической структуре доказательства гипотезы	Линейные эксперименты — предполагают использование в качестве контрольной и экспериментальной одну и ту же группу участников Параллельные эксперименты — предполагают использование как минимум двух групп: контрольной и экспериментальной
По месту проведения эксперимента	Холл-тест (Hall-test) — эксперимент проводится в специальном помещении, оборудованном для дегустации или просмотра рекламы Хоум-тест (Home-test) — эксперимент проводится в домашних условиях, участникам предлагается в домашней обстановке опробовать тестируемый товар
По предмету исследования	Продуктовый тест — эксперимент, в ходе которого изучается реакция потребителей на изменение характеристик товара Ценовой тест — эксперимент, в ходе которого, изучается реакция потребителей на изменение цены товара Рекламный тест — эксперимент, в ходе которого изучается реакция потребителей на изменение параметров рекламного обращения или кампании в целом Тестирование каналов распределения, мероприятий стимулирования сбыта и др.
По масштабу поставленной задачи	Однофакторные эксперименты — исследуется влияние только одного фактора Многофакторные эксперименты — исследуется влияние нескольких факторов

Имитационные эксперименты — проводятся на основе компьютерного моделирования объекта. Например, на основе информации о реакции потребителей на новый товар строится модель планируемого мероприятия. Результатом имитационного эксперимента становится наиболее вероятный объем продаж изучаемого товара. Имитационные эксперименты требуют гораздо меньше времени и средств, чем реальные; они конфиденциальны — и это несомненное достоинство. Недостатки же кроются в ограниченности модели (результаты зависят от заложенных в модель исходных данных) и ограниченности сферы применения (эксперимент возможен лишь при хорошо изученном процессе для построения модели; природа процесса допускает формализацию и количественное выражение). Мысленные (умозрительные) эксперименты — проводятся на основе мысленной манипуляции информацией о свершившихся или возможных событиях. Здесь предполагается детальный анализ факторов, воздействующих на объект. В умозрительных экспериментах отсутствует важнейший признак эксперимента — целенаправленное вмешательство исследователя в реальный процесс изменения объекта под воздействием изучаемого фактора. По этой причине многие исследователи не рассматривают мысленный эксперимент в числе возможных форм.

В более поздних работах встречается обоснование и противоположной точки зрения,² согласно которой в умозрительных экспериментах применяется такая же логика доказательств гипотезы, что и в реальных экспериментах. Правда, результаты мысленных экспериментов не имеют доказательной силы реального эксперимента и не могут выступать критерием истины. Мысленные эксперименты все же остаются гипотезами, хотя и более обоснованными, поэтому требуют дальнейших доказательств с помощью реального эксперимента.

Формы эксперимента по характеру окружающей обстановки. По характеру окружающей обстановки эксперименты делятся на лабораторные и полевые.

В первом случае экспериментальная обстановка, а часто и сами экспериментальные группы формируются искусственно, чтобы имелась возможность фиксировать одни переменные и манипулировать другими. Однако преимущества лабораторного эксперимента оборачиваются его недостатками, поскольку искусственно созданная ситуация может значительно отличаться от реальных условий, а потому и результаты могут быть искаженными. Одним из источников ошибок лабораторных экспериментов становится осведомленность участников о том, что они присутствуют на эксперименте. В этом случае может проявляться эффект наблюдения. Полевые эксперименты проводятся в естественных условиях, например на территории магазина или на дому у потребителя. Воздействие изучаемого фактора обусловлено естественным ходом событий. При этом участники эксперимента могут быть осведомлены или не осведомлены о том, что они участвуют в эксперименте.

Решение о степени осведомленности участников (введения в курс дела) принимается с учетом возможного негативного влияния такой осведомленности на результаты эксперимента. Важно учитывать также, что открытость полевого эксперимента влечет снижение его конфиденциальности и, наоборот, возрастание пристального внимания конкурентов. Проведение полевых экспериментов сопряжено с большими затратами времени и средств; при их проведении сложно контролировать влияние посторонних факторов.

Зачастую полевые эксперименты называют пробным маркетингом или тестированием рынка. В зависимости от масштаба деятельности фирма выбирает регион или отдельный город (группу магазинов) и организует пробные продажи через контролируемые каналы сбыта. Поэтому, в свою очередь, полевые эксперименты могут быть классифицированы по виду используемых каналов распределения на стандартные, электронные и контролируемые тесты.

Стандартные тесты распространяются для пробного маркетинга через обычные для фирмы каналы сбыта. В этом случае конкуренты могут достаточно быстро отследить суть эксперимента и активно вмешаться в его проведение. Затраты времени и средств на проведение тестирования высоки. Однако это лучший вариант, если фирма стремится реально оценить собственные возможности по реализации товара, нуждается в более точных оценках для снижения риска крупных инвестиций. Электронные тесты проводятся в случае доступности розничным посредникам электронных методов регистрации покупок и готовности этих посредников к сотрудничеству. Покупатели—участники эксперимента получают специальные идентификационные карточки, которые они предъявляют при покупке товара. Информация с карточки и совершенные покупки фиксируются в базе данных, ее сведения сопоставляются с информацией по распределению экспериментального воздействия (например о распространении рекламного обращения и его просмотрах покупателем, что фиксируется аудиометром). В работах зарубежных специалистов эта форма эксперимента известна под названием «данные из одного источника». Подобная форма проведения эксперимента довольно удобна, позволяет быстро и с меньшими затратами получить предварительные результаты тестирования, однако тестируемый рынок может не соответствовать реальному рынку товара. Контролируемые тесты предполагают, что пробный маркетинг происходит при содействии специализированных исследовательских фирм, использующих свои каналы распределения и контролирующих все условия проведения эксперимента. Затраты на проведение контролируемых тестов, как правило, меньше, чем при стандартном тестировании. Недостаток этого варианта кроется в возможном несоответствии используемых для эксперимента каналов распределения сбытовым каналам фирмы. Контролируемый тест создает излишне благоприятные условия для реализации товара, поэтому для вывода нового товара он менее пригоден.

Формы эксперимента по степени открытости. По степени осведомленности участников (по степени открытости) эксперименты делятся на открытые, неопределенные, мнимые и скрытые.

Открытые эксперименты проводятся в условиях полной осведомленности участников эксперимента о его цели, задачах и условиях проведения. В этих условиях велико, к сожалению, искушение участников эксперимента отреагировать на экспериментальное воздействие «правильно» с точки зрения исследователей. Важно поэтому, чтобы позиция экспериментатора оставалась нейтральной, а его поведение не выдавало бы отношения к реакции участников эксперимента. Добиться нейтральности ведущего эксперимент лица обычно сложно, но удается в случае, если он сам не осведомлен о выдвигаемой гипотезе. Чтобы преодолеть недостаток открытого эксперимента, можно завуалировать природу опыта, независимую переменную и основную гипотезу, т. е. воспользоваться либо неопределенной, либо мнимой, либо скрытой формой эксперимента.

Эксперименты в условиях неполной «прозрачности» целей опираются на неполную осведомленность их участников о цели эксперимента; их посвящают лишь в задачи и условия проведения. Эксперименты в условиях неполной «прозрачности» ситуации проводятся в условиях полной осведомленности участников о цели и задачах эксперимента, при этом подробности ситуации им неизвестны. Скрытые эксперименты проводятся при неосведомленности участников о цели, задачах и условиях проведения эксперимента. Со специальными методиками создания фиктивного контекста эксперимента можно ознакомиться в книге «Методы социальной психологии». Формы эксперимента по логической структуре доказательства гипотезы В зависимости от логической структуры доказательства гипотезы, выдвинутой в ходе исследования, эксперименты делятся на линейные (последовательные) и параллельные. В линейных экспериментах работает только одна группа участников. В этом случае до начала эксперимента в группе проводят измерение всех рассматриваемых характеристик. Группу подвергают экспериментальному воздействию, а затем измеряют значение зависимой переменной. Очень важно, чтобы в ходе линейного эксперимента было исключено влияние всех посторонних факторов. В параллельных экспериментах работают как минимум две группы: контрольная и экспериментальная; их состав должен быть идентичен. Экспериментальная группа подвергается запланированному воздействию, контрольная группа такому воздействию не подвергается. По итогам эксперимента характеристики двух групп сравниваются. Гипотеза эксперимента считается подтвержденной, если в экспериментальной группе произошли ожидаемые изменения, а в контрольной группе — нет.

Формы эксперимента по месту его проведения. Холл-тест (Hall-test) — это устоявшееся название эксперимента (встречается также название «студийный тест»²), который проводится в специальном помещении, оборудованном для дегустации или просмотра рекламы. Метод применяется для оценки характеристик нового товара (его вкуса, запаха, упаковки и т. д.), для тестирования элементов торговой марки и рекламных обращений. Эксперимент проводится на относительно небольшой выборке (100-400 человек). Хоум-тест (Home-test) — это устоявшееся название эксперимента (встречается также название «домашний тест»¹), который проводится в домашних условиях; участникам предлагается в домашней обстановке в течение нескольких дней опробовать тестируемый товар или группу продуктов. Преимущество такого подхода проявляется в том, что товар оценивается в привычных для потребителя условиях.

Результат тестирования — сформировавшееся в процессе исследования отношение участника эксперимента к предложенному образцу, что фиксируется в анкете (дневнике). Чтобы избежать влияния посторонних факторов на отношение к продукту, образцы для тестирования, как правило, обезличиваются. Метод применим при определении рыночных перспектив нового товара, при оценке его преимуществ и недостатков в сравнении с товарами конкурентов, при обосновании уровня цены, его названия и других характеристик. Местом проведения эксперимента может быть избран магазин, торговый павильон, офис или другое заведение, а также различные населенные пункты и географические регионы.

Формы эксперимента по масштабу поставленной задачи. В однофакторных экспериментах исследуется влияние только одного фактора на зависимую переменную. Многофакторные эксперименты призваны исследовать влияние нескольких факторов. Логика построения эксперимента при этом сохраняется, но применяется несколько вариантов экспериментального воздействия, что ведет к росту числа привлекаемых экспериментальных и контрольных групп.

Многофакторный эксперимент во многих случаях может оказаться целесообразнее, чем проведение ряда однофакторных экспериментов, поскольку позволяет выявить взаимодействие изучаемых факторов. Выводы о характере влияния изучаемых факторов, сделанные на основе однофакторного и многофакторного экспериментов, могут быть различными. Во взаимодействии с другими конкретный фактор может оказывать такое влияние, к которому он изолированно не способен, и наоборот, в изоляции от определенных факторов его влияние может проявляться сильнее, чем во взаимодействии с ними. В качестве примера можно рассмотреть схему двухфакторного эксперимента из работы Бориса Токарева, где изучается влияние цены

и цвета упаковки на объем сбыта товара. В ходе эксперимента выясняется восприятие товара в ценовом ракурсе — по двум вариантам цены (7 руб. и 7,5 руб.) и цветовом оформлении упаковки (красный, желтый и зеленый). Допустим, отбирается 450 человек от 18 до 55 лет для участия в эксперименте. Разбивка выборки может быть следующей:

• 75 человек (по 25 человек на один город) получают вариант товара по 7 руб. в красной упаковке;

• 75 человек (по 25 человек на один город) получают вариант товара по 7 руб. в желтой упаковке;

• 75 человек (по 25 человек на один город) получают вариант товара по 7 руб. в зеленой упаковке;

• 75 человек (по 25 человек на один город) получают вариант товара по 7,5 руб. в красной упаковке;

• 75 человек (по 25 человек на один город) получают вариант товара по 7,5 руб. в желтой упаковке;

• 75 человек (по 25 человек на один город) получают вариант товара по 7,5 руб. в зеленой упаковке.

В соответствии с приведенной схемой выборки экспериментальные продажи проведены в 18 городах (каждый из 6 вариантов товара предлагался в 3 городах), и были получены следующие результаты:

• при цене 7 руб. товар в красной упаковке приобрели 50 покупателей, в желтой — 60, в зеленой — 30;

• при цене 7,5 руб. товар в красной упаковке приобрели 40 покупателей, в желтой — 40, в зеленой — 20.

Вывод: предпочтительнее вариант товара в упаковке желтого цвета по 7 руб.

С увеличением числа факторов проведение эксперимента и анализ его результатов усложняются, для этой цели хорошо подходят имитационные формы эксперимента.

Процесс планирования и проведения эксперимента состоит из ряда процедур (рис. 1):

1. Определение цели и задач эксперимента.

Определение цели и задачи эксперимента

Выбор зависимых и независимых переменных показателей и методики их оценки

Определение логической структуры доказательств гипотезы эксперимента

Подготовительный этап

Выбор схемы проведения эксперимента

Формирование объекта эксперимента в соответствии с логической структурой доказательства гипотезы

Проведение экспериментальных мероприятий и замер показателей

Полевой этап

Анализ выявленных зависимостей

Определение внутренней и внешней достоверности результатов эксперимента

Аналитический этап

Составление отчета о проведении эксперимента

Рис. 1. Последовательность этапов проведения эксперимента

2. Выбор зависимых и независимых переменных, показателей и ме­тодики их оценки.

3. Определение логической структуры доказательств гипотезы экс­перимента и выбор схемы проведения эксперимента.

4. Формирование объекта эксперимента в соответствии с логиче­ской структурой доказательства гипотезы.

5. Проведение экспериментальных мероприятий и замер показателей.

6. Анализ выявленных зависимостей.

7. Определение внутренней и внешней достоверности результатов эксперимента.

8. Составление отчета о проведении эксперимента, где содержится информация об условиях функционирования объекта исследования и проведения эксперимента

Подготовительный этап эксперимента

Подготовительный этап эксперимента отличается особой сложностью по сравнению с другими методами сбора маркетинговой информации.

Определение цели и задач эксперимента

Эксперимент, как правило, связан с достижением ряда целей:

• прогнозирование объема продаж нового товара;

• обоснование выбора маркетинговых инструментов;

• проверка влияния ряда факторов на сбыт товара или поведение потребителей;

• количественная оценка воздействия независимой переменной на зависимую (например влияние размера ассигнований на рекламу на объем продаж товара);

• оценка эффективности принятых решений.

Преследуемые экспериментом цели формируют и его задачи: по масштабу охвата рынка, условиям и времени проведения.

Выбор зависимых и независимых переменных. Все характеристики изучаемой ситуации могут быть разделены на три группы: зависимые, независимые и нейтральные.

Зависимые переменные представляют собой некий искомый результат, формирующийся под воздействием изучаемых факторов, называемых независимыми переменными. Как правило, в качестве зависимой переменной рассматривается объем продаж. Независимыми переменными могут выступать различные инструменты маркетинга: цена, упаковка, реклама, месторасположение и др.

Характеристики, не участвующие в эксперименте, называются нейтральными. Их значение в процессе эксперимента может измениться каким-то образом (тогда они получают название переменных) или остаться неизменным (тогда они получают название постоянных, или констант). Для конечных результатов эксперимента и то и другое не имеет большого значения, главное, чтобы изменение в нейтральных характеристиках не отражалось на зависимой переменной.

После обозначения экспериментальных характеристик определяются возможности их измерения (с помощью косвенных индикаторов или путем прямого измерения) и наиболее подходящие методы фиксирования их значений. Значения экспериментальных переменных могут фиксироваться методами опроса или наблюдения, причем как персонально, так и с помощью приборов.

Например, исследуется восприятие рекламного объявления, прочитанного диктором с разной скоростью. В качестве независимой переменной выступает скорость речи, показателем оценки скорости речи принимается количество слов в минуту. Зависимой переменной является восприятие сообщения слушателями. Подобрать показатели для измерения этой характеристики сложнее. На практике чаще всего используются количество и качество запомнившейся информации. Приемлемая методика для фиксирования значения этого показателя — опрос «без подсказки» (т. е. респондент должен самостоятельно вспомнить и воспроизвести содержание сообщения) или «с подсказкой» (когда задаются наводящие вопросы о марке или о деталях сообщения). Тембр голоса можно рассматривать как нейтральную характеристику, поскольку влияние этого фактора на зависимую переменную не изучается в данном эксперименте. Однако чтобы исключить постороннее влияние тембра голоса на восприятие сообщения, следует использовать голос одного и того же диктора, читающего объявления с разной скоростью.

Логическая структура доказательств гипотезы эксперимента. Логика эксперимента всегда подчинена поиску причин происходящих изменений. Доказательством (подтверждением) гипотезы о влиянии некоторого фактора может выступить постэкспериментальное состояние группы под воздействием этого фактора. Выстроенная логика экспериментального анализа упрощает задачу проектирования эксперимента; когда же эксперимент реализован, на ее основе анализируются выявленные зависимости.

Логика анализа по выявлению различных типов связей между факторами была предложена Дж. Ст. Миллем. В своей книге «Система логики», опубликованной в 1843 г., Милль сформулировал типы и методы доказательства причинных связей.

В соответствии с теорией Милля, если между факторами прослеживается взаимосвязь, то это означает наличие одного из четырех возможных типов причинных связей:

1. Изучаемая независимая характеристика является необходимым и достаточным условием для существования зависимой характеристики. Это означает, что некоторый фактор (например фактор А) вызывает появление зависимого фактора Б при любом произвольном сочетании других факторов, причем фактор А без фактора Б существовать не может. Если факторы А и Б являются количественными, а не качественными переменными, то необходимо выяснить, какое влияние на величину Б оказывает интенсивность фактора А. Вывод о причинной связи может быть сделан в виде утверждения, что фактор Б Является функцией от фактора А.

2. Изучаемая независимая характеристика является достаточным, но не необходимым условием для существования зависимой характеристики Б. Это означает, что фактор А вызывает появление зависимого фактора Б при любом произвольном сочетании других факторов, но фактор Б иногда появляется и без фактора А.

Обнаруживая в процессе исследования второй тип связей, следует выяснить остальные альтернативные условия (без фактора А), достаточные для существования фактора Б. Возможно, что фактор Б появляется в результате действия факторов А, или В, или Г и они являются альтернативными причинами существования фактора Б.

3. Изучаемая независимая характеристика является необходимым, но не достаточным условием для существования зависимой переменной. Это означает, что отсутствие фактора А вызывает отсутствие зависимого фактора Б, но бывает, что фактор А существует и без фактора Б.

Обнаруживая третий тип связей, следует в ходе дополнительного исследования выяснить, каковы остальные условия, достаточные для существования фактора Б, в состав которых входит фактор А. При этом может выясниться, что фактор А является необходимым условием совокупности факторов, составляющих в целом достаточное условие для появления фактора Б.

4. Изучаемая независимая характеристика не является необходимым и достаточным условием для существования зависимой характеристики, но может являться необходимой составной частью

одного из возможных условий, достаточных для существования зависимой характеристики. Это означает, что при определенном сочетании с другими факторами фактор А вызывает появление зависимого фактора Б; его отсутствие в этом сочетании приводит к отсутствию фактора Б, при любом другом сочетании факторов между факторами А и Б причинных связей не обнаружено.

Имея дело с четвертым типом связей, исследователь должен провести дополнительные исследования в соответствии с рекомендациями к пунктам 2 и 3, чтобы выявить группу факторов, необходимых и достаточных для существования зависимого фактора.

Милль сформулировал четыре метода доказательства причинных связей: метод единственного сходства, метод единственного различия, метод сопутствующих изменений и метод остатков.

Наибольшее распространение получил метод единственного различия, который заключается в сравнении нескольких совокупностей (например двух групп участников эксперимента), отличающихся лишь тем, что в одной из них присутствует некая гипотетическая причина, а в другой она отсутствует. Логическая структура доказательств показана на рис. 7.2.

Логика зависимости основывается на том, что изменение или отсутствие независимой переменной А становится причиной соответственно изменения или отсутствия зависимой переменной Б. Характеристики В, Г, Д, Е, Ж являются нейтральными константами.

А

1 )

2)

3

А₁

)

А

- причина появления

Рис. 7.2. Логическая структура доказательств метода единственного различия

На практике, чтобы применить этот метод доказательства, следует исключить влияние всех других факторов, приводящих к изменению зависимой переменяй, и добиться идентичности состава групп участников эксперимента!

Модификацией данной системы доказательств является метод сопутствующих изменений, посредством которого изучается действие независимой переменной на зависимую с различной интенсивностью. Логическая структура доказательств показана на рис. 7.3.

В этом случае изменение интенсивности воздействия независимой переменной А приводит к соответствующему изменению зависимой переменной Б, т. е. Б = f (А). Например, фирма выдвигает гипотезу о зависимости объема продаж ее товара (фасованной крупы под маркой «N») от интенсивности рекламной кампании. В соответствии с этой гипотезой в регионах, где проводилась интенсивная рекламная кампания(все прочие условия равны), продажи фасованной

А₀

1 )

А₁

2 )

А₂

3 )

А₃

4)

А

- причина появления

крупы под маркой «N» должны возрасти в большей степени, чем в регионах с обыч­ной интенсивностью рекламы. Однако анализ показал, что объем продаж в некоторых регионах, где проводилась интенсивная рекламная кампания, не возрос или даже снизился, поэтому гипотеза не подтвердилась и необходимо выявлять другие причинные факторы, влияющие на объем продаж.

Метод единственного сходства основан на сравнении двух совокупностей, отличающихся друг от друга по всем характеристикам, кроме экспериментальных. Логическая структура доказательств показана на рис. 7.4.

Этот метод достаточно сложен в применении, потому что доказать, что две совокупности во всем отличаются, кроме действия изучаемого фактора, еще труднее, чем доказать, что они во всем схожи, кроме этого фактора.

Метод остатков использует для обоснования причинности уже доказанные зависимости. Например, известно, что фактор В является причиной фактора Г, а переменная Д — причина появления переменной Е. В процессе эксперимента под воздействием факторов А, В, Д получены следующие результаты: — факторы Б, Г, Е (рис. 7.5). Следовательно, переменная А является причиной появления переменной Б.

А

А

А

С

А

- причина появления

Рис. 7.4. Логическая структура доказательств метода единственного сходства

А

Е

А

- причина появления

- причина появления

- причина появления

Е

Рис. 7.5. Логическая структура доказательств метода остатков

Этот метод редко применяется в исследовательской практике, так как необходимо хорошо знать существующие причинно-следственные связи между различными факторами.

Безусловно, для доказательства связи между событиями можно пользоваться и классическими законами логики, например если второе событие происходит после первого, то оно не может рассматриваться в качестве причины первого. На практике довольно сложно выполнить все условия для однозначного доказательства связи, поэтому часто говорят о допущении наличия причинно-следственной связи, а не о ее доказанности.

Выбор схемы проведения эксперимента. Логика доказательств взаимосвязей между событиями опирается на измерения состояния объекта исследования до и после проведения эксперимента. Для нивелирования влияния посторонних факторов на результаты эксперимента измерения производят параллельно в двух группах экспериментальной и контрольной. Под группами не обязательно подразумевать людей, это могут быть группы, например торговых точек или других организаций, находящиеся в разных городах или даже регионах. Наиболее распространенные схемы проведения эксперимента показаны на рис. 7.6.

Схема эксперимента «до-после» без контрольной группы. Эксперимент «до-после» без контрольной группы (рис. 7.6, схема 1) принадлежит к группе последовательных экспериментов, базирующихся на сравнении значений зависимой переменной до и после воздействия экспериментального фактора. При такой схеме эксперимента трудно достичь внутренней валидности, т. е. доказать, что именно экспериментальный фактор вызвал зафиксированные изменения в зависимой переменной, а не какие-нибудь другие факторы, оказавшие воздействие между двумя замерами. На результат эксперимента может оказать влияние и предварительное измерение экспериментальных переменных (эффект обучения).

Схема эксперимента «только после» с контрольной группой Эксперимент «только после» с контрольной группой (рис. 7.6, схема 2) принадлежит к группе параллельных экспериментов. Подбираются две равные по своим характеристикам группы, одна из них является экспериментальной, другая — контрольной. Схема эксперимента основана на сравнении значений зависимой переменной в контрольной и экспериментальной группах, измерение которых осуществляется после воздействия экспериментального фактора на экспериментальную группу. Такая ситуация удобна, если не определены начальные условия эксперимента. Наличие контрольной группы позволяет отследить влияние посторонних факторов и скорректировать таким образом результаты экспериментального воздействия в экспериментальной группе. Отсутствие предварительного измерения не заостряет внимание участников эксперимента на проводимом исследовании. Уязвимость схемы проявляется в том, что достаточно сложно добиться идентичности экспериментальной и контрольной групп, тем более в отсутствие данных о состоянии этих групп до начала эксперимента. Различия в характеристиках групп могут повлиять на результаты эксперимента. Возможное решение этой проблемы кроется в формировании групп по случайному принципу, что, правда, не всегда возможно.

Схема эксперимента «до-после» с контрольной группой Эксперимент «до-после» с контрольной группой (рис. 7.6, схема 3) также принадлежит к группе параллельных экспериментов. Также подбираются две равные по своим характеристикам группы, одна из них является экспериментальной, другая — контрольной. Схема эксперимента основана на измерении значений зависимой переменной в обеих группах до и после воздействия экспериментального фактора на экспериментальную группу. Этим приумножается вероятность достижения внутренней валидности, поскольку на основании различий в значениях зависимой характеристики, измеряемой в контрольной группе, имеется возможность оценить влияние посторонних, неэкспериментальных факторов (т. е. тот результат, который может быть достигнут и без экспериментального воздействия). Гипотеза считается доказанной, если в экспериментальной группе значение зависимой характеристики изменилось в большей степени, чем в контрольной группе. Достигнутым результатом эксперимента можно считать разность между приращением значения зависимой переменной в экспериментальной группе и приращением ее значения в контрольной группе. Недостатком этого варианта является наличие эффекта обучения. Подобная схема часто применяется в исследовании торговли для выявления влияния различных стимулирующих мероприятий на потребительское поведение.

Другие варианты построения схемы эксперимента Ряд иных схем измерений «до» и «после» в выровненных группах позволяет сгладить негативное влияние предварительного измерения и компенсировать отсутствие данных о характеристиках групп до начала эксперимента. Наиболее известна схема с двумя экспериментальными группами (рис. 7.6, схема 4). В первой экспериментальной группе измерение зависимой характеристики производится только после проведения эксперимента (т. е. замеряется общий результат воздействия экспериментального и прочих факторов без учета эффекта обучения). Во второй экспериментальной группе измерение происходит до и после экспериментального воздействия (т. е. выявляется влияние экспериментального воздействия с учетом эффекта обучения). В контрольной группе измерения проводятся до и после эксперимента (т. е. определяется результат, который появится и без экспериментального воздействия с учетом эффекта обучения). Подобная схема повышает точность результатов, но требует больших затрат. Возможны и более сложные схемы. Например, в книге «Методы сбора информации в социологических исследованиях» рассматривается схема «якобы до-после» с контрольной группой. Согласно этой схеме, участвуют две группы, которые рассматриваются как одна, поскольку исходное положение измеряется в одной группе, а конечное положение (результат эксперимента) — в другой. Таким образом, в каждой группе проводится лишь одно измерение, но на разных стадиях эксперимента: в контрольной группе значение зависимой переменной измеряется до начала эксперимента, в экспериментальной группе — после экспериментального воздействия. Гипотеза проверяется сравнением результатов этих измерений. При этом требования по выравниванию состава групп и условий выдвигаются очень строгие, чтобы обеспечить надежность результатов эксперимента. Комбинированные измерения «до и после» лучше проводить при наличии не одной контрольной группы, а двух или трех, но работа по таким схемам затруднена из-за трудоемкости подготовительного этапа и увеличения затрат на проведение эксперимента.

Схема 1

Экспериментальная группа

Измерения до проведения эксперимента

Измерения после проведения эксперимента

Экспериментальная группа

Измерения до проведения эксперимента

Измерения до проведения эксперимента

Экспериментальная группа

Схема 2

Контрольная группа

Измерения до проведения эксперимента

Схема 3

Измерения до проведения эксперимента

Измерения после проведения эксперимента

Контрольная группа

Измерения до проведения эксперимента

Измерения после проведения эксперимента

Схема 4

Экспериментальная группа 1

Измерения после проведения эксперимента

Экспериментальная группа 2

Измерения до проведения эксперимента

Измерения после проведения эксперимента

Контрольная группа

Измерения после проведения эксперимента

Измерения до проведения эксперимента

О казание экспериментального воздействия

Рис..6 Схемы проведения эксперимента

В то же время существуют схемы, упрощающие процедуру эксперимента. Например, Борис Токарев предлагает действовать по схеме «только после» без контрольной группы: отбирается экспериментальная группа, на которую оказывается экспериментальное воздействие, далее производится измерение. Подобная схема подкупает своей простотой и возможна на «направленной» выборке (например для читателей журнала), однако применять ее следует очень осторожно, поскольку полученный результат может быть связан с действием других факторов.

Формирование объекта эксперимента

Для успешности эксперимента важно правильно подобрать участников. К методам отбора участников выдвигается жесткое требование: они должны обеспечить правомерность распространения выводов эксперимента на реальные условия.² Применение того или иного метода предопределяется схемой планируемого эксперимента.

Метод попарного отбора используется преимущественно в параллельном эксперименте. Из генеральной совокупности подбираются две группы таким образом, чтобы они были идентичны по нейтральным и контролируемым характеристикам. Обеим группам создаются одинаковые условия; на экспериментальную группу оказывается воздействие изучаемым фактором. Результат эксперимента фиксируется на основании измерения и сравнения значений зависимых переменных в обеих группах. Если существенных признаков много, то отбор становится очень сложным и в реальных условиях трудновыполнимым, поэтому применим в экспериментах с малыми группами. В умозрительных экспериментах возможности применения этого метода шире. Главным недостатком метода попарного отбора является утрата репрезентативности групп в отношении генеральной совокупности, когда экспериментатор пытается обеспечить максимально возможное соответствие между двумя претендентами, один из которых включается в экспериментальную, а другой — в контрольную группу.

Метод частотного выравнивания основан на сопоставлении экспериментальной и контрольной групп в целом по процентному распределению или средним величинам существенных признаков. Недостатком этого метода стало нежелательное появление неодинаковых сочетаний характеристик, например: среди приверженцев марки (10% группы) в экспериментальной группе — в основном молодежь, а в контрольной группе те же приверженцы представлены в основном лицами среднего возраста.

Метод выравнивания по квоте (метод структурной идентификации) помогает устранить обозначенные выше недостатки, поскольку выравнивает распределение характеристик (как порознь, так и их комбинаций) в соответствии с распределением признаков генеральной совокупности. В этом случае каждая группа — своеобразная микромодель генеральной совокупности по нейтральным и контролируемым характеристикам. Метод применяется как в линейном, так и в параллельном эксперименте, но по сложности реализации лишь немногим проще метода попарного отбора.

Для формирования участвующих в эксперименте групп объектов (формирования выборки) может быть применен метод случайного отбора (метод рандомизации). Этот метод считается наиболее надежным в силу детальной разработанности процедуры случайных выборок и возможного анализа точности и надежности выборки. Метод рандомизации основан на довольно большом объеме выборки (методы расчета ошибки при выборках 50-100 человек не обеспечивают устойчивых результатов); исходные подмножества также должны быть достаточно большими для проявления закона больших чисел.

Для тех случаев, когда в качестве группы рассматриваются города или регионы, тестируемый рынок должен быть репрезентативным целевому сегменту с точки зрения структуры населения и потребностей, структуры торговых предприятий, структуры конкуренции и средств массовой информации.

Комбинация различных приемов обеспечивает надежность выравнивания и при малых выборках. При сочетании частотного распределения с рандомизацией формируются группы в соответствии с частотным распределением, а затем они переформировываются случайным образом. Если при первоначальном отборе упущена какая-либо существенная характеристика, то при случайном распределении лица, обладающие данной характеристикой примерно с одинаковой вероятностью, попадут в обе группы.

Сочетание рандомизации и квотного отбора считается наиболее надежным,² но требует не только модели распределения существенных признаков, но и фиксирования характеристик относительно всех членов исходной совокупности — без этого невозможно произвести корректировку выборки на основе случайного отбора.

Проведение экспериментальных мероприятий и замер показателей. Проведение экспериментальных мероприятий выражается в экспериментальном воздействии и измерении значений выбранных показателей в соответствии с запланированной схемой эксперимента. Измерение осуществляется посредством опроса мнений участников или наблюдения за их реакцией.

В процессе эксперимента могут использоваться количественный и качественный замеры показателей. В основе количественных измерений лежит фиксирование интенсивности и длительности проявления определенной переменной. При качественных измерениях фиксируется лишь наличие или отсутствие результата воздействия переменной.

Аналитический этап эксперимента. Аналитический этап эксперимента состоит из следующих процедур:

• анализ выявленных зависимостей;

• определение внутренней и внешней достоверности результатов эксперимента;

• составление отчета о проведении эксперимента, содержащего ин­формацию об условиях существования объекта исследования и проведения эксперимента.

После завершения эксперимента необходимо определить, в чем же заключаются его результат, и оценить его достоверность.

Внутренняя и внешняя достоверность результатов эксперимента. Достоверность с точки зрения математической статистики обозначает обязательное наступление событий и характеризует существенность в различии тех или иных показателей. Для оценки достоверности эксперимента используются критерии внешней и внутренней валидности (внешней и внутренней достоверности).

Внутренняя валидность определяет границы, в которых изменение зависимой переменной действительно обусловлено изменением независимой переменной. Внешняя валидность определяет границы, в которых результаты эксперимента могут быть распространены на другие условия, в первую очередь на условия генеральной совокупности.

Для достижения внутренней валидности следует учесть и максимально нейтрализовать влияние следующих факторов:

1. Внешний фон — влияние конкретных событий, происходящих между первым и вторым измерениями наряду с экспериментальным воздействием.

2. Естественное изменение — влияние, которое оказывает на участников эксперимента течение времени, например усиление голода или усталости. Естественное изменение не связано с конкретными событиями — это биологические, социальные или психологические изменения участников эксперимента в процессе его проведения.

3. Эффект предварительного измерения (эффект обучения) — влияние заданий, связанных с начальным измерением зависимой переменной «до» экспериментального воздействия, на результаты повторного измерения «после» экспериментального воздействия.

4. Погрешность измерительного инструмента — влияние технических сбоев аппаратуры или естественных изменений, происходящих с исследователями (например усталость).

5. Отбор участников эксперимента — влияние неэквивалентности составов экспериментальной и контрольной групп.

Факторы, ставящие под угрозу внешнюю валидность, репрезентативность эксперимента:

1.Эффект взаимного влияния процедуры измерения в группах и характера экспериментального воздействия — предварительное измерение оказывает влияние на восприимчивость к экспериментальному воздействию участников эксперимента, поэтому реакция людей, прошедших предварительное измерение, будет нерепрезентативной по отношению к тем, кто этому не подвергался, т. е. генеральной совокупности.

2.Эффект взаимного влияния процедуры отбора участников эксперимента и характера экспериментального воздействия — наблюдаемый результат может быть свойствен только данной группе и не проявляться в других частях изучаемой совокупности.

3.Эффект контроля условий организации эксперимента — полученный результат может быть вызван не только экспериментальным фактором, но и знанием, например, что проводится эксперимент, отклонениями «реальной жизни» от заявленных условий эксперимента и пр. Поэтому некорректно распространять полученные данные на лица, подвергающиеся экспериментальному воздействию, в неэкспериментальных условиях.

Наиболее проблематичны эксперименты по изучению влияния цены на выбор товара покупателем. В ходе эксперимента люди могут вести себя более рационально, акцентируясь на цене в большей степени, чем в реальной жизни; в такой ситуации практически исключены импульсивные покупки. С другой стороны, покупатели в ходе эксперимента зачастую не тратят свои реальные деньги, что также снижает внешнюю валидность эксперимента.

Для преодоления влияния этих факторов необходимо контролировать репрезентативность выборки участников эксперимента и соответствие условий эксперимента реальным условиям.

Анализ факторов, создающих угрозу достоверности результатов, позволяет сделать некоторые выводы о преимуществах и недостатках / различных схем эксперимента (табл. 7.3).

Таблица 3

Источники невалидности экспериментов по Д. Т. Кэмпбеллу

Факторы	Схема эксперимента
	«до-после» без контр. группы	«только после» с контр. группой	«до-после» с контр, группой
Внутренняя валидность
Внешний фон	-	+	+
Естественное изменение	-	+	+
Эффект обучения	-	+	+
Погрешность измерительного инструмента	-	+	+
Отбор участников эксперимента	+	+	+
Внешняя валидность
Взаимодействие тестирования и экспериментального фактора		+	-
Эффект взаимодействия отбора участников эксперимента и экспериментального фактора		?	9
Эффект контроля условий организации эксперимента	?	?	9

«-» означает, что рассматриваемая схема не позволяет преодолеть негативное влияние данного фактора на валидность результатов эксперимента.

«+» указывает на то, что фактор находится под контролем,

«?» означает возможность некоторых осложнений.

Опрос