10. Критерии оценки полученных результатов в качественных исследованиях.

Важность разработки критериев оценки

Каждое исследование, качественное или количественное, должно оцениваться с точки зрения определенных канонов (исследовательских стандартов) того подхода или стратегии, которые применялись для получения результатов. Исследование может тщательно оцениваться, только если его процедуры достаточно четко прописаны. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формулировки и выводы, так же как и проект исследования в целом, оцениваются посредством публикации. Когда исследование опубликовано, когда компоненты исследовательского процесса отчетливо изложены, то представленные результаты или теоретические формулировки можно будет оценивать.

При разработке критериев оценки кейс стади классические каноны “хороших естественных наук” следует признавать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять. Критерий воспроизводимости социального эксперимента весьма относителен, так как с трудом можно представить повторение в той же России октябрьской революции или на индивидуальном уровне опыта первой любви.

Успех исследовательского проекта, в конце концов, оценивается по его продукту. Критерии оценки много обсуждались в литературе и связывались, в основном, с тремя аспектами:

во-первых, составляются суждения о валидности и надежности данных;

во-вторых, составляются суждения об адекватности исследовательского процесса, посредством которого теория рождается, дорабатывается или проверяется;

в-третьих, составляются суждения об эмпирическом обосновании теоретических построений.

Кейс стади имеет помимо прочего собственные оценочные критерии, которые отрабатывались рядом авторов. Мы считаем, что дискуссия о них должна быть известна не только тем, кто сидит за редакционными столами журналов и в распределяющих фонды структурах, но и для тех, кто хочет судить о собственной работе или о работе своих коллег. Обеспечение валидности особенно проблематично именно в исследовании в стиле кейс стади, и поэтому именно за этот недостаток, как правило, метод критикуется. В первую очередь, критика раздается по поводу достаточно большой доли субъективизма исследователя.

Основные критерии оценки кейс-стади

Р. Йин¹ предложил критерии оценки, соблюдение которых позволяет снизить критику в адрес кейс стади. Прежде всего, это известные четыре теста, являющиеся общими для любого исследовательского метода в социальных науках:

- общая валидность - установление корректности (обоснованности) операциональных действий в рамках изучаемой темы и выстраиваемой концепции;

- внутренняя валидность (только для объяснительных исследований, но не для описательных или разведывательных) - установление всей полноты причинных связей, где определенные причины ведут к определенным следствиям;

- внешняя валидность - установление той области, на которой может быть сделано обобщение;

- надежность - демонстрация того, что сама процедура проведения кейса может быть повторена с теми же самыми результатами.

Общая тактика проведения исследования в стиле кейс стади должна соблюдать по Р. Йину ориентацию на следующие тесты:

Тест	Тактика проведения кейс стади	Фаза исследования, на которой эту тактику лучше применить
Общая валидность	использование множественных источников выстраивание целостной цепочки доказательств oоценка ключевыми фигурами предварительного отчета исследования	сбор данных анализ и написание отчета написание отчета
Внутренняя валидность	организация сбора данных на всех уровнях (для предприятий и организаций), построение образов, моделей, построение моделей объяснения, проведение анализа на всем временном протяжении	сбор данных анализ данных анализ данных анализ данных
Внешняя валидность	Использование единой методологии при проведении большого количества кейсов	конструирование исследования
Надежность	использование протокола кейса (детальное описание процедур, записи интервью, бесед, наблюдений) создание базы данных использование триангуляции	сбор данных сбор данных сбор и анализ данных

А теперь остановимся на этом более подробно.

Общая валидность. Какие переменные (стороны изучаемого явления) отобрать. Обычно те, кто критикует кейс стади как исследовательскую стратегию, говорят о том, что исследователь, как правило, не может развить достаточно полноценную систему измеряемых переменных и для сбора данных он руководствуется только субъективными оценками. Для того, чтобы обеспечить валидность, исследователь, по крайней мере, должен:

1. Выделить специфические черты явления, которое он изучает.

2. Продемонстрировать, что избранные переменные (черты, стороны) в действительности отражают это явление.

3. Анализ не должен быть только на уровне “микроскопических” условий, которые объясняют действия/взаимодействия феномена, а учитывать и те условия, которые происходят на более “макроскопических” уровнях: такие, например, как экономические условия, социальные движения, ценности и т.д. Поэтому любая публикация, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изучаемым феноменом, теряет в своем эмпирическом обосновании.

4. Идентификация и точное обозначение изменения или движения в форме процесса является важной частью исследования и, особенно, по методу “обоснованной теории”. Любое изменение должно быть связано с условиями, которые его вызывают.

Внутренняя валидность. Эта валидность относится только к объяснительным кейсам, в которых исследователь пытается определить ведет ли событие х к событию у. Если, предположим, выяснится, что исследователь вывел причинную зависимость между х и у, в то время как имеется еще компонент z, который играет роль в этой причинной зависимости, то это говорит о том, что исследовательская конструкция было неверной. Однако в дескриптивных и разведывательных исследованиях это не является препятствием.

Внутренняя валидность относится также и к отдельному случаю, к каждому событию, которое сам исследователь не обозревал, не был его участником. Исследователь, тем не менее, на основе данных интервью, документов будет непременно делать заключения о том, что явилось причиной этого события. Исследователь должен сделать все возможное, чтобы это заключение было корректным. Он должен задать себе следующие вопросы:

• Что сделать, чтобы заключение соответствовало реальности?

• Все ли конкурирующие объяснения были рассмотрены?

• Какую тактику предпринять с учетом специфики случая?

Внешняя валидность. Здесь мы должны поставить вопрос: "А можно ли обобщить данные этого кейса и применить выводы к другим организациям, людям, группам и т.п.?" Обычно критики говорят о том, что единственный случай - достаточно бедное доказательство для возможности обобщения и что это не репрезентативная выборка. Но говорить о выборке применительно к кейс стади – это вообще неверный подход. Только опросы делают статистические обобщения. Кейс стади дает возможность делать аналитические обобщения.