11. Критерии оценки полученных результатов в качественных исследованиях.

Исследование может тщательно оцениваться, только если его процедуры достаточно четко прописаны. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формулировки и выводы, так же как и проект исследования в целом, оцениваются посредством публикации. Когда исследование опубликовано, когда компоненты исследовательского процесса отчетливо изложены, то представленные результаты или теоретические формулировки можно будет оценивать.

При разработке критериев оценки кейс стади классические каноны “хороших естественных наук” следует признавать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять. Критерий воспроизводимости социального эксперимента весьма относителен, так как с трудом можно представить повторение в той же России октябрьской революции или на индивидуальном уровне опыта первой любви.

Критерии оценки:

во-первых, составляются суждения о валидности и надежности данных;

во-вторых, составляются суждения об адекватности исследовательского процесса, посредством которого теория рождается, дорабатывается или проверяется;

в-третьих, составляются суждения об эмпирическом обосновании теоретических построений.

Кейс-стади имеет помимо прочего собственные оценочные критерии, которые отрабатывались рядом авторов. Обеспечение валидности особенно проблематично именно в исследовании в стиле кейс-стади, и поэтому именно за этот недостаток, как правило, метод критикуется. В первую очередь, критика раздается по поводу достаточно большой доли субъективизма исследователя.

Основные критерии оценки кейс стади

Р. Йин предложил критерии оценки, соблюдение которых позволяет снизить критику в адрес кейс стади. Прежде всего, это известные четыре теста, являющиеся общими для любого исследовательского метода в социальных науках:

- общая валидность - установление корректности (обоснованности) операциональных действий в рамках изучаемой темы и выстраиваемой концепции;

- внутренняя валидность (только для объяснительных исследований, но не для описательных или разведывательных) - установление всей полноты причинных связей, где определенные причины ведут к определенным следствиям;

- внешняя валидность - установление той области, на которой может быть сделано обобщение;

- надежность - демонстрация того, что сама процедура проведения кейса может быть повторена с теми же самыми результатами.

Общая тактика проведения исследования в стиле кейс стади должна соблюдать по Р. Йину ориентацию на следующие тесты:

Тест	Тактика проведения кейс стади	Фаза исследования, на которой эту тактику лучше применить
Общая валидность	использование множественных источников выстраивание целостной цепочки доказательств oоценка ключевыми фигурами предварительного отчета исследования	сбор данных анализ и написание отчета написание отчета
Внутренняя валидность	организация сбора данных на всех уровнях (для предприятий и организаций), построение образов, моделей, построение моделей объяснения, проведение анализа на всем временном протяжении	сбор данных анализ данных анализ данных анализ данных
Внешняя валидность	Использование единой методологии при проведении большого количества кейсов	конструирование исследования
Надежность	использование протокола кейса (детальное описание процедур, записи интервью, бесед, наблюдений) создание базы данных использование триангуляции	сбор данных сбор данных сбор и анализ данных

Общая валидность. Какие переменные (стороны изучаемого явления) отобрать. Для того, чтобы обеспечить валидность, исследователь, по крайней мере, должен:

1. - Выделить специфические черты явления, которое он изучает.

2. - Продемонстрировать, что избранные переменные (черты, стороны) в действительности отражают это явление.

3. - Анализ не должен быть только на уровне “микроскопических” условий, которые объясняют действия/взаимодействия феномена, а учитывать и те условия, которые происходят на более “макроскопических” уровнях: такие, например, как экономические условия, социальные движения, ценности и т.д. Поэтому любая публикация, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изучаемым феноменом, теряет в своем эмпирическом обосновании.

4. - Идентификация и точное обозначение изменения или движения в форме процесса является важной частью исследования и, особенно, по методу “обоснованной теории”. Любое изменение должно быть связано с условиями, которые его вызывают.

Внутренняя валидность. Эта валидность относится только к объяснительным кейсам, в которых исследователь пытается определить ведет ли событие х к событию у. Если, предположим, выяснится, что исследователь вывел причинную зависимость между х и у, в то время как имеется еще компонент z, который играет роль в этой причинной зависимости, то это говорит о том, что исследовательская конструкция было неверной. Однако в дескриптивных и разведывательных исследованиях это не является препятствием.

Внутренняя валидность относится также и к отдельному случаю, к каждому событию, которое сам исследователь не обозревал, не был его участником. Исследователь, тем не менее, на основе данных интервью, документов будет непременно делать заключения о том, что явилось причиной этого события. Исследователь должен сделать все возможное, чтобы это заключение было корректным. Он должен задать себе следующие вопросы:

• Что сделать, чтобы заключение соответствовало реальности?

• Все ли конкурирующие объяснения были рассмотрены?

• Какую тактику предпринять с учетом специфики случая?

Внешняя валидность. Здесь мы должны поставить вопрос: "А можно ли обобщить данные этого кейса и применить выводы к другим организациям, людям, группам и т.п.?" Обычно критики говорят о том, что единственный случай - достаточно бедное доказательство для возможности обобщения и что это не репрезентативная выборка. Но говорить о выборке применительно к кейс стади – это вообще неверный подход. Только опросы делают статистические обобщения. Кейс стади дает возможность делать аналитические обобщения.

Надежность. Цель надежности – минимизировать ошибки и отклонения, случающиеся в кейс стади. Как мы уже говорили, необходимо, чтобы исследователь, проводящий кейс стади позднее мог с точностью повторить те же самые процедуры и получить те же результаты в исследовании того же явления, но в другом случае. Главное – иметь документальное описание всего процесса исследования.

Все вышеприведенные критерии носят нормативный характер. Новые области исследования могут потребовать модификации процедур и иных оценочных критериев. К тому же одаренные исследователи с творческим воображением время от времени будут несколько отступать от установленных канонов. В таких редких случаях нам следует точно объяснить, как и почему мы от них отступили и предоставить читателям право судить при каких условиях результаты нашего теоретизирования могут соответствовать “реальности”, давать новое понимание и быть полезными (практически и теоретически).