23. Валидность и надёжность

В широком смысле слова валидность, т. е. обоснованность метода, означает соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности. Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и этот аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в которых указанное соотношение прямо противоположно. Текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с точки зрения разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых "гипотез существования", т. е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При этом, как отмечает Д. Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Резюмируя, обратимся к вопросу определения областей валидных количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

а) должны быть известны заранее, т. е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс? (% к числу опрошенных)

Яблочный пирог - 26%

Шоколадный кекс - 22%

И то, и другое - 43%

Затрудняюсь ответить - 9%

Б. Качественное исследование Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Вам надо взять что-то одно, что это будет? Подумайте.

Ответ: Конечно, пироги различаются. Если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. Если необходимо взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Ваш выбор?

Ответ: Например, это зависит от того, что я ем на обед. Если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - это большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. Если холодно, я не откажусь от шоколадного кекса [63].

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ "Я выбираю яблочный пирог" зависит от многих факторов, в данном случае - от того, кто приготовил этот пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, является выявление списка этих факторов с разумной степенью полноты. В этой области качественные исследования обладают высокой степенью валидности. Определение частотного распределения действия выявленных факторов в изучаемой популяции - дело количественного исследования. Важны, однако, две оговорки:

а) с практической точки зрения затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень этой неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

Валидность результатов фокус-групп.

Валидность метода ФГ зависит не только от процедуры, но и от контекста, от проблемы - объекта исследования.

2 вида валидности результатов ФГ:

Очевидная валидность - результаты группы действительно валидны, т.е. не вызывают сомнений.

Предсказательная валидность - в той степени, в которой результаты ФГ подтверждаются будущим поведением участников или последующими событиями.

Из части про интервью (в вопросе про нарративное интервью)

Проблема надежности, данных качественного ис­следования — наиболее уязвимая сторона этой методо­логии. Она является предметом критики со стороны "количественников", так как достоверных статистик валидности в этом случае быть не может. Надежность ин­формации обеспечивается следующими действиями ис­следователя:

1)             сопоставление высказываний с реальными факта­ми, особенно, если речь идет о событиях, которые можно проверить по официальным документам: даты рожде­ния, смерти, развода, исторического события;

2)             выявление противоречий в высказываниях рес­пондента или разных индивидов. Например, уточняю­щую информацию о событиях семейной истории или узкой общности всегда можно получить у других чле­нов группы;

3)             сопоставление с аналогичными обстоятельствами и событиями в жизни других людей, т. е. — в рамках близких, аналогичных социальных контекстов; особенно это значимо при анализе данных кейс-стадий;

4)             сравнение полученных данных с другими источ­никами информации и прежде всего количественными (если они имеются) для определения степени типичнос­ти, репрезентативности данного "случая". Хороший спо­соб повышения надежности данных — отбор объектов для интервьюирования из выборки уже выполненного массового обследования.

Для проверки степени объективности исследователя на этапе интерпретации данных применяется метод триангуляции — перекрестной интерпретации некото­рого фрагмента случая тремя исследователями, работаю­щими в команде.

В любом случае перед началом анализа следует за­дать себе два вопроса.

Первый — насколько и в чем можно доверять ин­тервьюируемому, что нужно проверить дополнительно?

И второй вопрос — насколько и в чем можно дове­рять интервьюеру, как сложились его отношения с рес­пондентом: не были ли возраст, пол, взгляды интервьюе­ра поводом для неискренности рассказчика?

Задача исследователя-аналитика состоит не просто в том, чтобы устранить эти сложности. При дальнейшей интерпретации материала необходимо учитывать их влияние или хотя бы оговорить возможность их побоч­ного влияния на рассказ.

Вместе с тем необходимо помнить, что проблема правдивости или неправдивости рассказчика для социо­лога имеет несколько иной смысл, чем, например, для историка, которому необходимы свидетельства очевид­цев. Социологу важнее разобраться, какие культуроло­гические особенности стоят за тем или иным "соци­альным мифом" или искажением факта. Тут прежде всего надо задаться вопросом: какие поколенческие, на­циональные, региональные или другие особенности жиз­ни человека ведут к искажениям в изложении одного и того же факта. Центральная задача — выявить скры­тый социальный смысл наблюдаемого факта.

По мнению Богомоловой Н.Н. и Фоломеевой Т.В., чтобы добиться высокой валидноси результатов фокус-группы и ECG. Исследователю необходимо сознавать важнае ограничения этого метода и не стремится распространять полученные данные на большие группы людей. Тем не менее, нельзя забывать, что те или иные ограничения не являются особенностью фокус-группили ECG, а присущи всем методам социальных наук.

Обычно рассматривается два вида валидности результатов фокус-группи ECG. О ч е в и д н а я в а л и д н о с т ь свидетельствует о том, что результаты группы действительно валидны, т.е не вызывают сомнений. Обычно фокусгруппы обладают высокой степенью валидности, благодаря тому, что большинство замечаний участников группы правдивы и искренни. Именно в фокусгруппе люди открываются, ведут себя естественно и делятся теми взглядами, которые невозможно получить в индивидуальном интервью, анкетах или другими методамисоциально-психологическогоисследования.

П р е д с к а з а т е л ь н а я в а л и д н о с т ь заключается в той степени, в которой результаты фокус-группыподтверждаются будущим поведением участников или последующими событиями. Среди специальных исследований валидностифокус-группинтересна работа Фреда Рейнольдса и Деборы Джонсон (1978). Они провели сравнительное исследование результатовфокус-группи большого почтового опроса. Оба исследования были маркетинговыми и носили общенациональный характер. Почтовой анкетой было охвачено две тысячи женщин, и было получено 90% ответов. Эти результаты сравнили с результатами 20фокус-групп,проведенных в 20 городах. При сравнении обнаружился 97% уровень совпадения результатов первого и второго исследований. Там, где имелись расхождения, результатыфокус-группполучили более высокую предсказательную валидность, так как подтверждались реальным поведением людей на рынке.