Глава 8

Критерии оценки и повышение надежности кейс стали

Каждое исследование, качественное или количественное, дол­жно оцениваться с точки зрения определенных канонов (иссле­довательских стандартов) того метода или стратегии, которые применялись для получения результатов. Исследование может тщательно оцениваться, только если его процедуры достаточно четко прописаны. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формули­ровки и выводы, так же как проект исследования в целом, оцени­ваются через посредство публикации. Когда исследование опуб­ликовано, когда компоненты исследовательского процесса отчетливо изложены, то представленные результаты или теоре­тические формулировки можно будет оценивать.

При разработке критериев оценки кейс стади классические каноны «хороших естественных наук» следует признавать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять.

Успех исследовательского проекта, в конце концов, оценива­ется по его продукту. Критерии оценки много обсуждались в литературе и связывались, в основном, с тремя аспектами:

• во-первых, составляются суждения о валидности и надеж­ности данных;

• во-вторых, составляются суждения об адекватности иссле­довательского процесса, посредством которого теория рождает­ся, дорабатывается или проверяется;

• в-третьих, составляются суждения об эмпирическом обо­сновании теоретических построений.

Кейс стади имеет помимо прочего собственные оценочные крите­рии, которые отрабатывались рядом авторов. Мы считаем, что дис­куссия о них должна быть известна не только тем, кто сидит за редакционными столами журналов и в фондовых агентствах, выде­ляющих гранты, но и тем, кто хочет судить о собственной работе или о работе своих коллег. Обеспечение валидности - это особенно про­блематично именно в исследовании в стиле кейс стади, и поэтому именно за этот недостаток, как правило, метод критикуется. В пер­вую очередь, критика раздается по поводу достаточно большой доли субъективизма исследователя.

Основные критерии оценки кейс стади

Р.Йии предложил следующие критерии оценки, соблюдение ко­торых позволяет снизить критику в адрес кейс стади [223].

Известны четыре теста, являющиеся общими для любого ис­следовательского метода в социальных науках:

• общая валидность - установление корректности операцио­нальных действий в рамках изучаемой темы и выстраиваемой кон­цепции;

• внутренняя валидность (только для объяснительных иссле­дований, но не для описательных или разведывательных) - уста­новление всей полноты причинных связей, где определенные при­чины ведут к определенным следствиям;

• внешняя валидность - установление той области, на кото­рой может быть сделано обобщение;

• надежность - демонстрация того, что сама процедура проведе­ния кейса может быть повторена с теми же самыми результатами.

Общая тактика проведения исследования в стиле кейс стади Должна соблюдать по Р.Йин ориентацию на следующие тесты:

Тест	Тактика проведения кейс стади	Фаза исатдонлшщ НА КОТОРОЙ Э1У ТАКТИКУ ЛУЧИЛ- ПРИМЕНИТЬ
Общая валидностъ	- использование множественных источников доказательств; - выстраивание целостной цепочки доказательств; - оценка ключевыми фигурами предварительного отчета исследования	сбор данных; сбор данных и написание отчета; написание отчета
Внутренняя валидностъ	- организация сбора данных на всех уровнях (для предприятий и организаций); - построение образов, моделей; - построение моделей объяснения; - проведение анализа па всем временном протяжении	сбор данных; анализ данных
Внешняя валидностъ	использование единой методологии при проведении большого количества кейсов	конструирование исследования
Надежность	- использование протокола кейса (детального описания, записей интервью, бесед); - создание базы данных	сбор данных

А теперь остановимся на этом более подробно.

Общая валидность. Какие переменные (стороны изучаемого явления) отобрать. Обычно те, кто критикует кейс стади как исследовательскую стратегию, говорят о том, что исследователь, как правило, не может развить достаточно полноценную систему измеряемых переменных и для сбора данных он руководствуется только субъективными оценками. Для того чтобы обеспечить валидность, исследователь по крайней мере должен:

/. Выделить специфические черты явления, которое он изучает.

2. Продемонстрировать, что избранные переменные (черты, стороны) в действительности отражают это явление.

3. Анализировать следует не только «микроскопические» условия, которые объясняют действия/взаимодействия феноме­на, необходимо учитывать и те условия, которые происходят на более «макроскопических» уровнях: такие, например, как эконо­мические условия, социальные движения, ценности и т.д. Поэто­му любая публикация, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изу­чаемым феноменом, теряет в своем эмпирическом обосновании.

70

4. Идентификация и точное обозначение изменения или дви­жения в форме процесса являются важной частью исследования_и, особенно по методу «восхождение к теории». Любое изменение должно быть связано с условиями, которые его вызывают.

Внутренняя валидность. Эта валидность относится только к объяснительным кейсам, в которых исследователь пытается опреде­лить, ведет ли событие х к событиюу. И если, предположим, выяс­нится, что исследователь вывел причинную зависимость междухиу в то время как имеется еще компонент г, который играет ролья этой причинной зависимости, то это говорит о том, что само построение исследования было неверным. Однако в дескриптивных и разведы­вательных исследованиях это не является препятствием.

Внутренняя валидностъ относится также и к отдельному слу­чаю, к каждому событию, которое сам исследователь не обозре­вал, не был его участником. Исследователь, тем не менее, на осно­ве данных интервью, документов будет непременно делать заключения о том, что явилось причиной этого события. Иссле­дователь должен сделать все возможное, чтобы это заключение было корректным. Он должен задать себе следующие вопросы:

• Что сделать, чтобы заключение соответствовало истине?

• Все ли конкурирующие объяснения были рассмотрены?

• Какую тактику предпринять с учетом специфики случая? Внешняя валидность. Здесь мы должны поставить вопрос:

«А можно ли обобщить данные этого кейса и применить выводы к другим организациям, людям, группам и т.п.?» Обычно критики говорят о том, что единственный случай - достаточно бедное до­казательство для возможности обобщения и что это не репрезен­тативная выборка. Но говорить о выборке применительно к кейс стади - это вообще неверный подход. Только опросы делают ста­тистические обобщения. Кейс стади дает возможность делать ана­литические обобщения.

Надежность. Цель надежности - минимизировать ошибки и от­клонения, случающиеся в кейс стади. Как мы уже говорили, необхо­димо, чтобы исследователь, проводящий кейс стади, позднее мог с точностью повторить те же самые процедуры и получить те же ре­зультаты в исследовании того же явления, но в другом случае. Глав­ное - иметь документальное описание всего процесса исследования.

Все вышеприведенные критерии означают нормы. Новые об­ласти исследования могут потребовать модификации процедур и оценочных критериев. К тому же одаренные исследователи с твор-

ческим воображением время от времени будут несколько отсту­пать от установленных канонов. В таких редких случаях нам следует точно объяснить, как и почему мы от них отступили, и предоставить читателям право судить, при каких условиях резуль­таты нашего теоретизирования могут соответствовать «реально­сти», давать новое понимание и быть полезными (практически и теоретически).

Установление надежности через триангуляцию

Кейс стади известен как исследовательская стратегия с использо­ванием триангуляции. Термин триангуляция пришел в социологию из навигационной практики моряков, которые, как правило, определяют месторасположение корабля, изучая пересечение двух прямых. Впервые это термин использовал Д.Кемпбелл, выразив мнение, что данные, подтвержденные двумя независимыми источни­ками, более убедительны, чем те, которые взяты из одного источника [115]. Триангуляция в исследовательском смысле обычно означает, что привлекаются различные источники данных, различные методы исследований, нескольких исследователей и/или различные теоре­тические перспективы, чтобы изучить одно специфическое явление.

Н.Дензин [130] отводил одно из центральных мест в своих изысканиях исследовательской триангуляции, которую он иначе называл комбинацией методологий и считал, что любой социолог должен исследовать проблему с различных методологических пер­спектив. Именно тогда, когда социолог соединяет в своем иссле­довании различные подходы, могут возникать достаточно обосно­ванные и проверенные теории. Н.Дензин достаточно серьезно занимался проблемами триангуляции и составил предлагаемую ниже типологию существующих подходов.

Триангуляция данных. Источники данных могут быть объекта­ми триангуляции, и исследователь должен стремиться к исполь­зованию как можно большего количества источников, которые оказываются в его распоряжении. Но, как настаивал Дензин, дол­жно быть понимание того, что существует отличие между источ­никами, с помощью которых исследователь получает те или иные данные, и методами сбора информации. Так, при исследовании организации источниками могут быть не только данные, получен­ные с помощью методов интервью, наблюдения, но и статистичес­кие данные, материалы совещаний, собраний, митингов, забасто­вочных комитетов, протоколы заседаний профсоюзных комитетов.

Временная триангуляция. Любое социологическое исследова­ние в стиле кейс стади проводится, как правило, не в один день, а растягивается во времени. Кроме того, деятельность тех или иных групп людей, изучаемых социологами, как правило, изучается в определенной социальной среде. Именно поэтому упор на время необходим. С точки зрения времени, очень интересно то, как оп­ределенные виды деятельности претерпевают изменения с тече­нием времени. Необходимость изучения определенных процессов в динамике привело к тому, что в настоящее время все больше и больше исследований в стиле кейс стади проводится в течение длительного периода времени.

Временная триангуляция помогает проследить, какие процес­сы неизменны с течением времени, какие изменяются кардиналь­но, какие просто исчезают. Например, в исследовании двух заво­дов, одного английского, другого российского, где проводилось изучение неформальных отношений, было интересно посмотреть, как видоизменялись с течением времени некоторые аспекты не­формальных отношений [163]. Надо отметить, что фактор време­ни имел достаточно большое значение для анализа ситуаций на двух заводах. Так, многое дало сравнение активности рабочих на заводах в обычные дни и в конце месяца. Достаточно интересные события развивались на английском заводе в конце финансового года, когда нужно было сделать план любой ценой¹. Описание та­ких событий в определенные временные моменты, как правило, дают неоценимую информацию исследователю.

Пространственная триангуляция. Как правило, исследование в стиле кейс стади затрагивает сложные объекты, с многоуровневой системой управления. В таких исследованиях необходим сбор дан­ных на разных уровнях организации. В этом исследователям помо­гает так называемая пространственная триангуляция, которая под­разумевает: во-первых, сбор данных на разных уровнях изучаемого объекта, например, в организации это может быть сбор данных по исследовательскому вопросу, начиная от высшего менеджмента и кончая изучением процессов на уровне рабочего места.

С другой стороны, исследование, казалось бы, двух социально от­даленных организаций - завода в Великобритании и завода в России, на первый взгляд, не могло дать ничего общего, учитывая также то, что у нас в России существует достаточно стойкое понимание того, что на Западе все работает как часы, а у нас все плохо. И вместе с

¹ В конце финансового года на английском предприятии также наблюдалось знакомое нам по России явление штурмовщины.

73

тем, выводы, сделанные на основе детального изучения двух организаций, принадлежащих двум разным социальным системам, позволили утверждать, что некоторые социальные процессы имеют универсальный характер и не знают границ.

В исследованиях, проводимых ИСИТО, пространственная три­ангуляция достигается путем сравнения собранных фактов на предприятиях различных регионов. Сделать это помогают ежегод­ные семинары, в которые вовлечены исследователи из всех регио­нов, где проводятся исследования.¹

Исследовательская триангуляция. Чем больше исследователей привлечены для изучении того или иного случая, тем более досто­верная и менее искаженная информация будет получена. Это одна из возможностей снизить субъективность одного исследователя, поскольку наблюдение одного исследователя дополняется наблюде­нием нескольких исследователей за одним и тем же событием, или наоборот, нескольких исследователей, наблюдающих за разными событиями, но являющимися звеньями одной и той же цепи.

На наш взгляд, достаточно перспективна позиция самарской исследовательской группы из ИСИТО, которая использует сле­дующую исследовательскую триангуляцию при исследовании организаций. При планировании проведения исследования соци­ологи распределяют между собой уровни организации: часть исследователей работает с так называемыми «верхними эшелона­ми власти», другая - разрабатывает уровень среднего и низшего звена, работает на уровне цехов. Ни для кого не секрет, что соци­олог на предприятии должен «примелькаться», к нему должны привыкнуть, и он должен стать своего рода частью окружающей среды (этот подход мои самарские коллеги называют эффектом «фонарного столба»: когда человек, проводящий исследование, настолько сжился с окружающей средой, что стал как бы её час­тью.) Именно это помогает самарским социологам на каждом из этих уровней выявить своих собственных ключевых информан­тов, получить наиболее интересную информацию, а затем на своих исследовательских методологических семинарах проанали­зировать, какая информация подтверждается на всех уровнях, какая - заведомая «липа», а над какой информацией еще стоит поработать, и какой уровень для этого наиболее приемлем.

¹ На момент написания книги в команду ИСИТО входят социологи, представ­ляющие следующие города: Москва, Самара, Кемерово, Сыктывкар, Санкт-Пе­тербург, Пермь, Екатеринбург.

74

Теоретическая триангуляция. Это наиболее сложный вид триангуляции, и по свидетельствам множества западных иссле­дователей очень незначительная часть социологов достигает определенных высот в теоретической триангуляции. Как прави­ло, в начале исследования существует некоторая сеть предполо­жений, по которым и собираются данные. Было бы более пред­почтительно, если бы гипотезы или предположения выдвигались на основе совершенно различных теорий, подчас даже и совершен­но противоречивых. Объяснение одних и тех же фактов с точки зрения различных теоретических положений - это одно из средств снизить критические замечания в адрес исследователей.

Почему необходима теоретическая триангуляция? В некоторых областях, например в таких, где очень высока вероятность теорети­ческой несовместимости, необходимость в теоретической триангуля­ции особенно высока. Так, например, взаимодействия внутри групп объясняют очень много теорий. Некоторые считают, что эти взаимо­действия можно объяснить с помощью теорий обмена, другие счита­ют, что здесь необходим функционалистский подход. Символичес­кие интеракционисты отстаивают правоту своей теории и так далее. И, как результат, нет единой обоснованной теории в этой области. Очевидная трудность в данном случае состоит в том, что аргументы типа «мы-то знаем, что только наша теория объясняет действитель­ное положение вещей» - сами по себе очень ограничены и очень не­надежны для подбора определенных предположений и гипотез.

В некоторых случаях у исследователя появляются свои соб­ственные теоретические объяснения, которые присоединяются к уже существующим и отдаляют все социологическое сообщество от синтеза теорий и результатов полевых исследований. Эти тео­рии наиболее близки к тому, что Мертон называл «теориями сред­него уровня» и годятся порой только для объяснения данных, ана­лизируемых в каждом конкретном случае. Глэйзер и Страусе призывали в своей работе [144]к появлению обоснованных, определяющих сущность социологических теорий. Дензин [127] советует развивать концептуальные модели с позиции теоретичес­кой триангуляцией, что означает подход к данным с различных направлений и множеством гипотез в голове. Когда одна из теорий исчерпывает себя, можно привлечь следующую для объяс­нения фактов, которые остались необъясненными.

Шаги теоретической триангуляции. Вести (Westie, 1957) рекомендовал основные шаги процедуры теоретической триангу­ляции, которые, на наш взгляд, актуальны и поныне:

* 75

1. Сформулируйте все возможные предположения, имеющие право на существование в данной области;

2. Дайте возможные интерпретации по всем выдвинутым пред­положениям;

3. Предпринятое исследование проводится для того, чтобы определить, какие из этих гипотетических явлений существуют на эмпирическом уровне.

4. Те предположения, которые с треском провалились при про­ведении исследования, выбросьте в корзину, как и те интерпрета­ции, которые с ними были связаны.

5. Самые удачные из предположений, которые были сформули­рованы, отбираются в ходе последующих эмпирических наблюдений.

6. В заключение сделайте перечень тех предположений, которые прошли проверку, и тех, которые провалились, и сделайте переоценку тех теорий, из которых они проистекали. Обозначьте теперь перефор­мулированную теоретическую систему, основанную на всех точках рассмотрения и эмпирических подтверждениях, которые вы только что получили.

Преимущества теоретической триангуляции. Во-первых, как указывал Вести, теоретическая триангуляция минимизирует вероят­ность того, что исследователь будет представлять себе и миру недос­таточно зрелые предположения, в рамках которых какие-либо проти­воречия будут игнорироваться. Во-вторых, имеет место еще одно преимущество теоретической триангуляции - это возможность исполь­зовать наиболее широкие обобщения. Социологи могут двигаться от специфических теоретических исследований к обобщенным теорети­ческим исследованиям, тем самым, подводя исследователя к «более обобщенному значению его эмпирических находок». И, наконец, триангуляция поощряет систематическую преемственность в теории и исследованиях.

Методологическая триангуляция. Этот тип триангуляции бывает двух видов: внутриметодный и межметодный.

Внутриметодная триангуляция - это когда исследователь исполь­зует только один метод, но внутри этого метода прибегает к множест­венным стратегиям для работы с данными. Тем не менее, внутриметод­ная триангуляция имеет свои собственные недостатки и представляет определенную угрозу валидности исследования.

Межметодная триангуляция - это использование нескольких исследовательских методов таким образом, что один метод усиливает

76

другой. И исследователь может достичь наилучших результатов, поскольку при таком подходе снижаются недостатки отдельного метода.

Как правило, межметодная триангуляция принимает различные формы, но в основном используют несколько методов для того, чтобы исследовать один и тот же объект.

Проблемы, связанные с построением исследования с помощью множественной триангуляции. Наиболее часто встречаемыми про­блемами являются:

1. Определение объекта анализа, для которого могут быть при­влечены различные теории.

2. Дефицит времени и денег для проведения исследования. Не всегда представляется возможным нанять большое количество социологов, проводить лонгэтюдные исследования ввиду ограни­ченности ресурсов. В этом случае, конечно, остается использовать наиболее полноценно то, что имеется в наличии.

3. Недоступность некоторых исходных данных, так как теории могут требовать наблюдения за очень интимными или скрытыми от глаз процессами.

На наш взгляд, к описанным выше типам триангуляции можно также добавить и триангуляцию респондентов: дать возможность респондентам оценить основные результаты исследования. Мы можем изложить перед респондентами в конце исследования тот или иной взгляд и записать их реакцию на него.

Итак, мы рассмотрели типы триангуляции, которые в основном применимы к исследованиям предприятий или организаций. Вместе с тем, на наш взгляд, к исследованию личности нужно подходить точно так же, как и к анализу организаций. При изуче­нии индивидов необходимо учитывать возможности изменений в их стратегиях, жизненных траекториях с течением времени, а также их пространственные перемещения. Именно поэтому важна как пространственная, так и временная триангуляция. Так, напри-Мер, при изучении одиноких матерей [37] изучались стратегии их выживания, а также изменения, которые произошли в их жизни, с Интервалом в 9-12 месяцев. Такой подход к исследованию был оправдан, поскольку невозможно изучать стратегии, обращаясь только к одному определенному моменту в жизни одинокой Женщины. Для того чтобы понять, как изменяются планы, Жизненные обстоятельства одиноких женщин, были проведены Повторные интервью с респондентками через определенный

77

период времени, а в некоторых особо интересных случаях была проведена целая серия интервью, и именно это позволило установить достаточно тесный личный контакт с респондентами и появилась возможность взять у респондентовдневникис описанием событий их жизни.

Согласно Дензину [128], по отношении к личности существует три разных вида анализа:

• агрегированный анализ - то, что обычно встречается в опросах общественного мнения, это когда для анализа привлекаются именно индивиды, но не их взаимоотношения;

• интерактивный анализ - когда единицей анализа является скорее взаимодействие определенных групп, общностей, индивидов;

• анализ общностей - способ, часто отождествляемый со структурно-функциональным анализом. В данном случае объек­том для наблюдения является общность: группа, коллектив или даже целое общество. А взаимоотношения уже уходят на второй план, и они рассматриваются как отражающие определенное дав­ление на эту общность или коллектив.

И, наконец, одно из главных требований Дензина состоит в том, что исследователь должен осуществлять синтез всех уровней и типов данных. Любое исследование должно комбинировать раз-личные уровни и типы данных.

78