Проблема валидности экспериментального исследования

Вопросы:

1. Понятие валидности и виды.

2. Основные угрозы внешней и внутренней валидности

1.Понятие валидности и виды.

Надо различать валидность конкретной методики/теста и валидность исследования в целом.

Валидность эксперимента – достоверность полученных результатов. Велика угроза получения артефактов. чаще речь идет не о фальсификации, а об ошибках.

Причин, которые снижают достоверность исследования может быть очень много.

Виды валидности:

1. Внутренняя

2. Внешняя

3. Операциональная

4. Статистическая

5. Экологическая (связана с внешней)

6. конструктивная

Конструктивная валидность. О ней много писал Кэмпбел. Суть: надо правильно обозначить основные переменные в психологических понятиях и терминах. Проблема: подмена одного понятия другим.

Можем проверять в исследовании не заявленную гипотезу, а какую-то другую.

Операциональная валидность.

Надо теоретическое понятие снабдить теоретическими показателями и индикаторами. Упрощенно, это правильный подбор методик. В стандартизированных методиках стандартизация проведена, надо просто подобрать методику.

Если мы сами разрабатываем методику, или модифицируем имеющуюся, то возникают вопросы, насколько мы правильно операционализировали. Хорошо известные методики можно не представлять в приложении, но малоизвестные или созданные нами обязательно должны быть.

Статистическая валидность: правильно ли мы использовали мат.статистику, критерии. Главное не путаться: критерии различий или связи. Для различных выборок могут быть разные статистические критерии – надо подбирать.

2_ОСНОВНЫЕ УГРОЗЫ ВНУТРЕННЕЙ И ВНЕШНЕЙ ВАЛИДНОСТИ.

Внутренняя валидность связана с контролем угроз внешних/побочных переменных (именно НП влияет на ЗП).

Внешняя валидность связана возможностью переноса результатов исследования с выборки на генеральную совокупность и другие ситуации.

ВНУТРЕННЯЯ ВАЛИДНОСТЬ

НП => ЗП

X O R

Символика Кэмпбелла.

Если один символ располагается под другим, то это означает одновременность.

Пунктирная линия подчеркивает нерандомизированность групп.

О Х О _ _ _ _

О О

Угрозы Внутренней валидности (по Кэмпбелу):

1. ФОН. Во время течения исследования (между двумя тестированиями) могут произойти какие-нибудь события, которые могут повлиять.

2. ЕСТЕСТВЕННОЕ РАЗВИТИЕ. Это изменения в состоянии испытуемых просто с течением времени, а не по причине воздействия. (усталость, усиление голода, взросление и т.д.)

3. ЭФФЕКТ ТЕСТИРОВАНИЯ. Использование одной методики. Предварительное тестирование может сказаться на результатах повторного/итогового тестирования (нр,появляется навык работы с методикой у испытуемых). Все, конечно, зависит от методики (с одной сильнее, с другой слабее). КГ также может помочь здесь.

4. ИНСТРУМЕНТАЛЬНАЯ ПОГРЕШНОСТЬ. 2 аспекта:

   1. в ходе исследования в инструмент нельзя вносить никаких изменений. (Учитель русского языка сначала использовала одни критерии в одном полугодии, а потом, В другом использовала еще доп.критерии. И результат изменился)

   2. Опыт работы с одной и той же методикой может сказаться. Опытный и неопытный исследователь/интервьюер могут дать разные результаты. Проективные методики непростые.

5. СТАТИСТИЧСЕКАЯ РЕГРЕССИЯ. Угроза существует, когда мы формируем группы по разным показателям. пример: провели к/р группа разбилась на плохо, хорошо, средне. При проведении повторной к/р: те, кто лучше – написали чуть хуже, кто хуже – чуть лучше. Происходит сдвиг к среднему. Без всякой работы показатель может меняться. Если такие группы задействованы в исследовании, надо иметь это в виду. Суть угрозы: сдвиг к среднему показателю в группах отобранных на основе крайних показателей при вторичном тестировании. Это просто статистическая закономерность. Если не отбирали в группы по этим показателям, то спокойно игнорируем эту угрозу.

6. ОТБОР ИСПЫТЫЕМЫХ. Отсутствие рандомизации фиксируется. Группы не уравненные по составу могут давать систематические ошибки в результатах исследования. Проблема актуальна, когда мы не можем провести классическую рандомизацию. Естественные группы – не провести рандомизацию. Тогда надо смотреть, что можно сделать в связи с этим.

7. ОТСЕВ ИСПЫТУЕМЫХ. Неравномерное выбывание испытуемых в экспериментальной и контрольной группе.

8. ВЗАИМОДЕЙСТВИЕ ФАКТОРА ОТБОРА И ЕСТЕСТВЕННОГО РАЗВИТИЯ (2+6). Пример: обкатываем новую психотерапевтическую программу. Отобрали 10 человек, подходящих по параметрам. Месяц (3-4 недели) работаем с ними. Смотрим, что у 10 из 8 явные позитивные перемены. Мы, не зная об этой угрозе можем оценить эффективность программы на 80%. И обманем научную общественность и самих себя. За месяц (это все-таки время) есть феномен естественной ремиссии – время лечит. Получается, что из 8 у 3-4 произошла естественная ремиссия, а я все приписываю действию программы. Надо вводит КГ.

УГРОЗЫ ВНЕШНЕЙ ВАЛИДНОСТИ (по Кэмпбеллу)

1. РЕАКТИВНЫЙ ЭФФЕКТ (=ЭФФЕКТ ВЗАИМОДЕЙСТВИЯ ТЕСТИРОВАНИЯ И ЭКСПЕРИМЕНТАЛЬНОГО ВОЗДЕЙСТВИЯ). О и Х (а не О1 и О2) Суть: Предварительное тестирование может уменьшить или увеличить восприимчивость испытуемых к экспериментальному воздействию. (ОТЛИЧАТЬ ОТ 2-го: «эффекта тестирования» как угрозы внутренней валидности)

2. ЭФФЕКТ ВЗАИМОДЕЙСТВИЯ ФАКТОРА ОТБОРА И ЭКСПЕРИМЕНТАЛЬНОГО ВОЗДЕЙСТВИЯ. В зависимости от того, кого мы набрали, какая выборка, испытуемые могут по-разному относиться к экспериментальному воздействию. Например: добровольцы или нет (у них особая мотивация, они по-своему воспринимают).

3. УСЛОВИЯ ОРГАНИЗАЦИИ ЭКСПЕРИМЕНТА ВЫЗЫВАЮЩИЕ РЕАКЦИЮ ИСПЫТУЕМЫХ НА ЭКСПЕРИМЕНТ. Эта реакция именно на ситуацию эксперимента.

4. ИНТЕРФЕРЕНЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ВОЗДЕЙСТВИЙ. Возникает, когда мы не с одной, а с несколькими НП работаем или несколько раз подвергаем испытуемых воздействию. Х1О Х2О Х3О остается воздействие от Х1? Мб результат связан и с ним? Суть: наложение экспериментальных воздействий одного на другое. Т.е. влияние более ранних воздействий полностью не проходит. Надо как-то менять последовательность воздействий, тогда мы как-то будем контролировать ситуацию.

Такие вот 12 базовых угроз (8 – внутренней, 4 – внешней).

В студенческих работах надо больше сосредоточить влияние на внутренней валидности, так как мы редко ратуем за то, чтобы нашу работу вводить в практику.

ЗАДАНИЕ на 6 марта: «Анализ угроз внутренней валидности»

Текст: Исследование на тему психологического одиночества. Гипотеза: у родителей, дети которых достигают подросткового возраста будет наблюдаться рост чувства одиночества (сам факт взросления детей будет влиять на чувство одиночества). Взяла родителей 10-классников. Надо КГ, где нет этого воздействия – взяли Родителей 2-3 классников. Несколько методик, чтобы замерить субъективное ощущение одиночества и сравнение на достоверность различий. Если я получу достоверные различия, то гипотеза подтвердится, но здесь еще есть побочные переменные. Что это за переменные?

ЛЕКЦИЯ: о самой процедуре защиты

За неделю до защиты работа уже должна быть полностью представлена рецензенту с вашей подписью, подписью руководителя и подписью завкафа.

Резенция – хорошо, если есть заранее.

Защитное слово 6-7 минут – заранее.

Раздаточный материал – очень важно подготовить

Вопросы (насколько мы понимаем свою курсовую):

Какое основание было для выдвижения гипотезы?

ГИПОТЕЗА: Первичная информация о человеке имеет большее значение для формирования представления о нем, чем последующая информация.

2 варианта ЭКСПЕРИМЕНТА:

ЭГ1 ЭГ2

Проблема: как не подменить одно понятие другим(установка и первое впечателение)