2_Этапы статистического исследования

2. Структура статистического исследования

2.1 Схема проведения статистического исследования

Системы статистического анализа данных – это современный эффективный инструмент статистического исследования. Широкие возможности для обработки статистических данных имеют специальные системы статистического анализа, а также универсальные средства – Excel, Matlab, Mathcad и др..

Но даже самый совершенный инструмент не может заменить исследователя, который должен сформулировать цель исследования, провести сбор данных, выбрать методы, подходы, модели и средства проведения обработки и анализа данных, а также интерпретировать полученные результаты.

На рисунке 2.1 представлена схема проведения статистического исследования.

Рис.2.1 - Принципиальная схема статистического исследования

Исходным пунктом статистического исследования является формулировка проблемы. При ее определении учитывается цель исследования, определяется, какая информация необходима и как она будет использоваться при принятии решения.

Само статистическое исследование начинается с подготовительного этапа. В ходе подготовительного этапа аналитики изучают техническое задание – документ, составляемый заказчиком исследования. В техническом задании должны быть четко сформулированы цели исследования:

• определен объект исследования;

• перечислены предположения и гипотезы, которые в ходе исследования должны быть подтверждены или опровергнуты;

• описано то, как будут использоваться результаты исследования;

• сроки, в которые исследование должно быть проведено и бюджет исследования.

На основе технического задания разрабатывается структура аналитического отчета - то, в каком виде должны быть представлены результаты исследования, а также программа статистического наблюдения. Программа представляет собой перечень признаков, подлежащих регистрации в процессе наблюдения (или вопросов на которые должны быть получены достоверные ответы по каждой обследуемой единице наблюдения). Содержание программы определяется как особенностями наблюдаемого объекта и целями исследования, так и методами, выбранными аналитиками для дальнейшей обработки собранной информации.

Основной этап статистического исследования включает сбор необходимых данных и их анализ.

Финальным этапом исследования является составление аналитического отчета и предоставление его заказчику.

На рис. 2.2 представлена схема статистического анализа данных.

Рис.2.2 – Основные этапы статистического анализа

2.2 Сбор статистической информации

Сбор материалов подразумевает анализ технического задания исследования, определение источников необходимой информации и (при необходимости) разработку анкет. При исследовании источников информации все требуемые данные разделяют на первичные (данные, которых нет в наличии и которые должны быть собраны непосредственно для данного исследования), и вторичные (собранные ранее для иных целей).

Сбор вторичных данных часто называют "кабинетным" или "библиотечным" исследованием.

Примеры сбора первичных данных: наблюдения за посетителями магазина, анкетирование пациентов больницы, обсуждение проблемы на совещании.

Вторичные данные делят на внутренние и внешние.

Примеры источников внутренних вторичных данных:

• информационная система организации (включающая в себя бухгалтерскую подсистему, подсистему управления продажами, CRM (CRM-система, сокращение от англ. Customer Relationship Management) — прикладное программное обеспечение для организаций, предназначенное для автоматизации стратегий взаимодействия с заказчиками) и другие);

• ранее проведенные исследования;

• письменные отчеты сотрудников.

Примеры источников внешних вторичных данных:

• отчеты органов статистики и других государственных учреждений;

• отчеты маркетинговых агентств, профессиональных ассоциаций и т.п.;

• электронные базы данных (адресные справочники, ГИС и т.п.);

• библиотеки;

• средства массовой информации.

Основными выходными данными на этапе сбора данных являются:

• планируемый объем выборки;

• структура выборки (наличие и размер квот);

• вид статистического наблюдения (сбор данных опрос, анкетирование, измерение, эксперимент, экспертиза, др.);

• информация о параметрах опроса (например, возможность факта фальсификации анкет);

• схема кодировки переменных в базе данных программы, выбранной для обработки;

• план-схема преобразования данных;

• план-схема используемых статистических процедур.

Этот же этап включает непосредственно процедуру анкетирования. Разумеется, анкеты разрабатываются только для получения первичной информации.

Полученные данные должны быть соответствующим образом отредактированы и подготовлены. Каждая анкета или форма наблюдения проверяется и, если нужно, корректируется. Каждому ответу присваиваются числовые или буквенные коды – производится кодировка информации. Подготовка данных включает в себя редактирование, расшифровку и проверку данных, их кодирование и необходимые преобразования.

2.3 Определение характеристик выборки

Как правило, данные, собранные в результате статистического наблюдения для проведения статистического анализа являются выборочной совокупностью. Последовательность преобразования данных в процесс статистического исследования можно схематично представить следующим образом (рис. 2.3)

Рис 2.3 Схема преобразования статистических данных

Анализируя выборку, можно делать выводы о генеральной совокупности, представленной выборкой.

Окончательное определение общих параметров выборки производят, когда все анкеты собраны. Оно включает:

1. определение реального количества респондентов,

2. определение структуры выборки,

3. распределение по месту опроса,

4. установление доверительного уровня статистической надежности выборки,

5. расчет статистической ошибки и определение репрезентативности выборки.

Реальное количество респондентов может оказаться большим либо меньшим запланированного. Первый вариант лучше для анализа, но невыгоден заказчику исследования. Второй может отрицательно сказаться на качестве исследования, а, следовательно, невыгоден ни аналитикам, ни заказчикам.

Структура выборки может быть случайной или неслучайной (респонденты отбирались на основе заранее известного критерия, например методом квотирования). Случайные выборки априори являются репрезентативными. Неслучайные выборки могут быть намерено нерепрезентативными относительно генеральной совокупности, но давать важную информацию для исследований. В этом случае также следует внимательно отнестись к фильтрационным вопросам анкеты, которые предназначены специально для отсеивания неподходящих под требования респондентов.

Для определения точности оценивания, прежде всего, необходимо установить уровень доверительной вероятности (95% или 99%). Тогда максимальная статистическая ошибка выборки рассчитывается как

или ,

где - объем выборки, - вероятность наступления исследуемого события (попадание респондента в выборку), - вероятность обратного события (непопадания респондента в выборку), - коэффициент доверительной вероятности, - дисперсия признака.

В таблице 2.4 приведены наиболее употребляемые значения доверительной вероятности и коэффициентов доверительной вероятности.

Таблица 2.4

Доверительный уровень (%)	90%	95%	99%
Значение	1,64	1,96	2,58

2.5 Обработка данных на компьютере

Анализ данных с применением компьютера включает выполнение ряда необходимых шагов.

1. Определение структуры исходных данных.

2. Ввод данных в компьютер в соответствии с их структурой и требованиями программы. Редактирование и преобразование данных.

3. Задание метода обработки данных в соответствии с задачами исследования.

4. Получение результата обработки данных. Его редактирование и сохранение в нужном формате.

5. Интерпретация результата обработки.

Шаги 1 (подготовительный) и 5 (заключительный) не способна выполнить ни одна компьютерная программа — их исследователь делает сам. Шаги 2-4 выполняются исследователем с использованием программы, но именно исследователь определяет необходимые процедуры редактирования и преобразования данных, методы обработки данных, а также формат представления результатов обработки. Помощь компьютера (шаги 2–4) заключается, в конечном итоге, в переходе от длинной последовательности чисел к более компактной. На «вход» компьютера исследователь подает массив исходных данных, который недоступен осмыслению, но пригоден для компьютерной обработки (шаг 2). Затем исследователь дает программе команду на обработку данных в соответствии с поставленной задачей и структурой данных (шаг 3). На «выходе» он получает результат обработки (шаг 4) — тоже массив данных, только уже меньший, доступный осмыслению и содержательной интерпретации. При этом исчерпывающий анализ данных обычно требует многократной их обработки с применением разных методов.

2.6 Выбор стратегии анализа данных

Выбор стратегии анализа собранных данных основывается на знании теоретических и практических аспектов исследуемой предметной области, специфики и известных характеристик информации, свойств конкретных статистических методов, а также на опыте и взглядах исследователя.

Необходимо помнить, что анализ данных — это вовсе не конечная цель исследования. Его цель — получить информацию, которая поможет решить определенную проблему и принять адекватные управленческие решения. Выбор стратегии анализа должен начинаться с исследования итогов предыдущих этапов процесса: определение проблемы и разработка плана исследования. В качестве "черновика" используется предварительный план анализа данных, разработанный как один из элементов плана исследования. Затем, в ходе поступления на последующих стадиях процесса исследования дополнительной информации, может понадобиться внесение определенных изменений.

Статистические методы делятся на одно- и многомерные. Одномерные методы (univariate techniques ) используются тогда, когда все элементы выборки оцениваются одним показателем, либо если этих показателей несколько для каждого элемента, но каждая переменная анализируется при этом отдельно ото всех остальных.

Многомерные методы (multivariate techniques) прекрасно подходят для анализа данных, если для оценки каждого элемента выборки используется два или больше показателей и эти переменные анализируются одновременно. Такие методы применяются для определения зависимостей между явлениями.

Многомерные методы отличаются от одномерных прежде всего тем, что при их использовании центр внимания смещается с уровней (средних показателей) и распределений (дисперсий) явлений и сосредотачивается на степени взаимосвязи (корреляции или ковариации) между этими явлениями.

Одномерные методы можно классифицировать на основе того, какие данные анализируются: метрические или неметрические (рис. 3). Метрические данные (metric data) измеряются по интервальной шкале или относительной шкале. Неметрические данные (nonmetric data) оцениваются по номинальной или порядковой шкале

Кроме того, эти методы делят на классы на основе того, сколько выборок — одна, две или более — анализируется в ходе исследований.

Классификация одномерных статистических методов представлена на рис.2.4.

Рис. 2.4 Классификация одномерных статистических методов в зависимости от анализируемых данных

Число выборок определяется тем, как ведется работа с данными для конкретного анализа, а не тем, каким способом собирались данные. Например, данные по лицам мужского и женского пола можно получить в пределах одной выборки, но если их анализ нацелен на выявление разницы в восприятии, основанной на разнице полов, исследователю придется оперировать двумя разными выборками. Выборки считаются независимыми, если они экспериментально не связаны между собой. Измерения, проведенные в одной выборке, не оказывают влияния на значения переменных в другой. Для анализа данные, относящиеся к разным группам респондентов, например собранные от лиц женского и мужского пола, обычно обрабатываются как независимые выборки.

С другой стороны, если данные по двум выборкам относятся к одной и той же группе респондентов, выборки считаются объединенными в пары — зависимыми.

Если существует только одна выборка метрических данных, может использоваться z- и t-критерий. Если же независимых выборок две или больше, в первом случае можно воспользоваться z- и t-критерием для двух выборок, в во втором — методом однофакторного дисперсионного анализа. Для двух связанных выборок используется парный t-критерий. Если речь идет о неметрических данных по одной выборке, исследователь может воспользоваться критериями частотного распределения, хи-квадратом, критерием Колмогорова—Смирнова (K~S), критерием серий и биномиальным критерием. Для двух независимых выборок с неметрическими данными можно прибегнуть к следующим методам анализа: хи-квадрат, Манна-Уитни, медианы, К-С, однофакторным дисперсионным анализом Крускала-Уоллиса (ДА К-У). В отличие от этого, если существует две или больше взаимосвязанных выборок, следует воспользоваться критериями знаков, Мак-Немара и Уилкоксона.

Многомерные статистические методы нацелены на выявление существующих закономерностей: взаимозависимости переменных, взаимосвязи или последовательности событий, межобъектного сходства.

Достаточно условно можно выделить пять стандартных типов закономерностей, исследование которых представляет существенный интерес: ассоциация, последовательность, классификация, кластеризация и прогнозирование

Ассоциация имеет место в том случае, если несколько событий связаны друг с другом. Например, исследование, проведенное в супермаркете, может показать, что 65% купивших кукурузные чипсы берут также и "кока-колу", а при наличии скидки за такой комплект "колу" приобретают в 85% случаев. Располагая сведениями о подобной ассоциации, менеджерам легко оценить, насколько действенна предоставляемая скидка.

Если существует цепочка связанных во времени событий, то говорят о последовательности. Так, например, после покупки дома в 45% случаев в течение месяца приобретается и новая кухонная плита, а в пределах двух недель 60% новоселов обзаводятся холодильником.

С помощью классификации выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект. Это делается посредством анализа уже классифицированных объектов и формулирования некоторого набора правил.

Кластеризация отличается от классификации тем, что сами группы заранее не заданы. С помощью кластеризации выделяют различные однородные группы данных.

Основой для всевозможных систем прогнозирования служит историческая информация, хранящаяся в виде временных рядов. Если удается построить найти закономерности, адекватно отражающие динамику поведения целевых показателей, есть вероятность, что с их помощью можно предсказать и поведение системы в будущем.

Многомерные статистические методы можно разделить на методы анализа взаимосвязи и классификационный анализ (рис. 2.5).

Рис.2.5 – Классификация многомерных статистических методов