Вопрос 5
Под надежностью результатов понимается их устойчивость, воспроизводимость, повторяемость.
Для проверки надежности шкалирования применяется тест-ретест. При реализации этого метода замер проводится дважды с интервалом две — четыре недели на одних и тех же респондентах. После этого рассчитывается коэффициент корреляции между двумя рядами интегральных оценок. Первый ряд представляет собой набор интегральных оценок, рассчитанных на основании ответов респондентов, которые они дали на частные вопросы при первом опросе, а второй ряд — при втором. Чем выше корреляция между результатами этих замеров, тем выше надежность замеров.
Недостатки
результаты весьма чувствительны к величине промежутка времени между замерами: чем больше времени прошло, тем менее надежной окажется шкала;
сам факт первого замера может изменить отношение респондентов к изучаемому объекту. Например, обращение к ним с вопросом об отношении к низкокалорийным продуктам может натолкнуть их на мысль о пользе этих продуктов;
бывают случаи, когда повторный замер вообще невозможен, например, если нужно замерить первую реакцию респондентов на новый продукт;
при втором замере респонденты могут стараться припомнить, что они говорили в первый раз;
за прошедшее время взгляды респондентов по данным вопросам могут измениться, например, из-за знакомства с рекламой или с самим продуктом;
не исключено, что относительно высокая корреляция между двумя замерами по интегральной шкале объясняется лишь высокой корреляцией между замера ми по каждой частной шкале по отдельности, тогда как корреляция между замерами по разным частным шкалам относительно низка.
Вопрос 6
Кроме показателя надежности измерения, отражающего повторяемость его результатов, используется показатель валидности. Результаты шкалирования обладают валидностью, если различия между замерами, выявленные при опросе разных респондентов, объясняются действительными различиями между ними, а не систематической или случайной ошибкой замера.
Валидность проверяется по следующим видам:
Содержательная валидность состоит в систематическом, хотя и субъективном выяснении того, все ли содержательно важные аспекты, которые должна отражать интегральная шкала, содержатся в наборе частных шкал. Так, если интегральная шкала должна описывать имидж магазина, то нужно позаботиться, чтобы в частных шкалах были отражены такие его аспекты, как качество товаров, разнообразие ассортимента и т.д.
Критериальная валидность (конкурентная и предсказательная). При использовании метода оценки критериальной валидности проверяется согласованность различий в оценках по шкалам у разных респондентов с различиями между этими респондентами по социально-демографическим, психологическим, поведенческим и др. характеристикам. Эти характеристики определяются на основе других вопросов, за даваемых или в том же опросе (так называемая конкурентная валидность), или в другом опросе тех же респондентов (так называемая предсказательная валидность).
Примером проверки конкурентной валидности может служить включение в одну и ту же анкету двух наборов частных шкал, направленных на построение одной и той же интегральной шкалы; при этом один набор — полный, а второй — сокращенный и несколько модифицированный. Наличие конкурентной валидности означает, что полученные таким образом оценки в целом соответствуют друг другу.
Пример проверки предсказательной валидности - ситуация, в которой сначала путем опроса замеряют отношение каждого участника потребительской панели к определенному товару, а затем сопоставляют полученные данные с фактическими покупками этих людей, зарегистрированными в магазине с помощью сканеров.