55. Методы контроля качества информации.

Контроль дает представление о том, насколько можно доверять полученным

цифрам, каковы ошибки и просчеты организаторов опроса.

Чтобы лучше понять механизм контроля, разобьем процесс на следующие этапы:

1) сбор и обработка информации;

2) анализ полученной информации;

3) выбор и осуществление корректирования.

Выбор метода контроля обусловлен поставленной задачей. Главный критерий эффективности — реальное улучшение дела. Первичный контроль, проводимый при приемке анкет, может установить сам факт опроса, но этого недостаточно с точки зрения корректировки работы социолога. Более полную картину дает вторичный контроль, предусматривающий специальный контакт с респондентом. Подобный контакт, а следовательно и контроль, может быть телефонным, почтовым и личным. Любой из пере

численных методов имеет специфику, плюсы и минуты.

Существует множество методов, обеспечивающих контроль процесса сбора информации. На каждой стадии проекта контроль осуществляется по внутренней системе. Возможен также контроль со стороны клиента.

Внутренняя система контроля качества

Контроль выборки – способность адресовать свои вопросы определенному респонденту и добиться от него необходимого сотрудничества. Аудитория для опросов – это список тех представителей населения, из которых будет проведена выборка. Список может состоять из географических районов, организаций, людей или других объектов. Способы контроля выборки следующие.

• Процедуры, позволяющие провести широкий географический охват:

• при телефонном опросе – случайный набор номеров;

• при личном опросе – распределение интервьюеров по районам, улицам города, избирательным участкам;

• задание шага – смещение по маршруту от одной квартиры до другой;

• при холл-тестах – аренда помещений в разных местах.

• Процедуры для снижения количества отказов от сотрудничества со стороны людей, подходящих под условия выборки:

• тренинги коммуникативного общения для интервьюеров;

• сопровождение интервьюеров сопроводительными документами – письмами и удостоверениями;

• гарантия анонимности респонденту;

• проведение среди респондентов разъяснительной работы о целях и пользе исследования;

• обязательное вознаграждение респонденту.

Контроль над информацией – увеличение достоверности информации в зависимости от используемого метода сбора данных.

Личная беседа позволяет интервьюеру пояснять респонденту непонятный вопрос, делать переходы в анкете в зависимости от предыдущих ответов.

Личные и телефонные беседы могут повлечь за собой искажение в силу восприятия респондентом личности интервьюера. Эти отклонения могут быть легко контролируемы в случае телефонных опросов в офисе и холл-тестах, где контролер может проверить и вмешаться. Также опросы по почте и компьютеризованное самостоятельное заполнение анкет позволяет устранить предвзятость, вызванную личным отношением опрашиваемого к интервьюеру, респонденты могут дать более продуманные ответы, анонимность дает возможность быть более откровенными в некоторых деликатных вопросах, но открытые вопросы могут быть лишними или неадекватными.

В отношении длины анкеты существует общее правило: длинные анкеты наилучшим образом подходят для личного интервью или в крайнем случае для разговора по телефону.

Управленческий контроль включает в себя время и стоимость на проведение опроса, обработку ответов.

Телефонный опрос — это один из скорейших способов получения информации. Если он при этом еще и компьютеризованный, то экономится время на ввод и обработку данных.

Квартирный опрос не дает такой экономии времени, так как существует непроизводительное время между отдельным интервью, пока интервьюер добирается до следующего респондента. Чтобы ускорить получение ответов в ходе индивидуальных визитов увеличивают количество полевых работников.

Считается, что чем больше штат полевых работников, тем больше проблем с контролем. В большинстве случаев себестоимость различных методов зависит от вопроса обеспечения качественного контроля. Телефонный опрос, уличные опросы и личные визиты требуют пропорционально большего количества работников. Соответственно личное посещение обычно является наиболее дорогим методом сбора данных.

Непосредственный сбор первичной информации интервьюером, то есть контакт с респондентом, это наиболее важный и трудно контролируемый этап, поэтому в нашей компании разработано множество процедур по отбору, обучению и контролю работы полевых сотрудников.

При приеме на работу интервьюеры проходят отбор на соответствие следующим требованиям:

постоянный настрой на позитивное общение с незнакомыми людьми;

аккуратность и педантичность в заполнении анкеты - из анкеты в анкету зачитывать точную формулировку вопросов с дословной фиксацией ответов;

упорство в достижении цели – поиск до самого последнего респондента, удовлетворяющего квоте.

Качество проведенного интервью проверяется по нескольким критериям:

• продолжительность опроса;

• соблюдение методологии опроса: способы формулировки вопросов интервьюером, использование в ходе опроса карточек, место опроса;

• вежливость интервьюера;

• дата и время опроса;

• социально-демографические характеристики респондента;

• повторные ответы на несколько вопросов анкеты, полученные данные сравниваются с результатами интервьюера;

Доли проверки в массиве каждого интервьюера: новые интервьюеры – 50% контроль, из которых 20% личным посещением; остальные – 30% контроль, из которых 10% личным посещением.

Методы контроля:

• телефонный контроль;

• визит по анкетам без телефонов;

• на месте проведения интервью во время телефонных опросов в офисе, холл-тестов;

• при уличных опросах интервьюер заранее сообщает супервайзеру время и место работы. Контролеры выезжают к местам проведения и осуществляют прямое наблюдение за качеством работы интервьюеров. Если интервьюера не оказалось в указанное время в заданном месте, то анкеты, выполненные в этот день, не засчитываются;

• проверка по адресным базам данных.

При обнаружении ошибок и фальсификаций применяется система штрафов. При высоком качестве работы, благоприятных отзывах респондентов применяется система поощрений.

Визуальный и логический контроль заполненных анкет позволяет выявить подделки. Записи ответов на открытые вопросы практически всегда выдают интервьюера. Подделанные анкеты обычно очень логичны, противоречия же в анкете, наоборот, могут не являться признаком искажения.

Логический контроль при вводе данных с помощью программного обеспечения – проверка переходов и непротиворечивости ответов на контрольные вопросы.

Количественные процедуры анализа данных позволяют выявить фальсифицированные анкеты. Отклонение значения переменной от среднего по совокупности значения является первым сигналом фальсификации результатов. Средние значения одной переменной у разных интервьюеров должны совпадать, не принимая в расчет незначительные отклонения. Например, крайне мала вероятность получить сильно различающиеся средние значения дохода на совокупностях объектов, обследованных (опрошенных) разными интервьюерами. Если, конечно, речь не идет о квотной выборке, когда один интервьюер проводил опрос в бедных кварталах, а второй — в престижных районах.

Контроль работы со стороны клиента

• Участие в составлении выборки, квоты и определении величины шага.

• Утверждение инструментария и методов исследования.

• Присутствие на предпроектном инструктаже интервьюеров.

• Промежуточный контроль - еженедельные отчеты по количеству сделанных анкет и выполненным квотам.

• По окончании проекта выдаются контактные ведомости и контрольные ведомости с результатами проверки согласно заданному количеству по каждому интервьюеру.

Просмотр статистики по ведомости недостижимости респондентов.