Валидность эксперимента и валидность выводов.
Валидность эксперимента – степень соответствия эксперимента предполагаемым мысленным образцам. Различается пять основных типов валидности: внутренняя (критерий оценки планирования и проведения исследования с точки зрения приближения к образцам идеального и бесконечного экспериментов, позволяющий считать достоверными выводы относительно именно представленной в гипотезе зависимости (а не какой-то другой)), внешняя (критерий оценки исследования с точки зрения решения проблем соответствия сформулированных в гипотезе переменных и реализованных методически условий тем, на которые осуществляется обобщение полученных результатов), операциональная (оценка проведенного эксперимента с точки зрения степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые использованы в исследовании. В лабораторном эксперименте может совпадать с оценкой конструктной валидности), конструктная (аналог внешней валидности; оценка соответствия представленных в экспериментальной гипотезе переменных и отношения между ними теоретическим конструктам и теоретической гипотезе, из которой в качестве следствия выводится экспериментальная гипотеза), популяционная (это оценка того, насколько правомерно распространять обобщения, полученные на основании использования в исследовании ограниченного числа испытуемых на более широкие выборки испытуемых, или на популяции). Внутренняя и операциональная валидность оцениваются в любом эксперименте, внешняя – в естественном (дублирующем реальный мир); конструктная – при проверке теоретических гипотез; популяционная – при оценке репрезентативности выборки с точки зрения возможности переносить обобщения на популяции. Валидность вывода – оценка проведенного эмпирического исследования с точки зрения правильности его организации и тем самым возможность считать полученные результаты и сделанные выводы достоверными. Валидность при использовании методов наблюдения или эксперимента включает оценку репрезентативности исследования как степени приближения его к возможным безупречным мысленным образцам. Репрезентативность – определяется правильным планированием эксперимента и точным измерением ЗП, обусловленным выбором ситуации и единиц наблюдения, т.е включает оценку полученных данных с точки зрения других возможных данных, кот могли бы быть получены при приближении использованных в исследовании схемы и методических средств к безупречным или идеальным экспериментам.
40. Контроль состава групп в межгрупповых схемах. Проблема репрезентативности испытуемого и выборки.
Основной источник угроз внутренней валидности: различия между субъектами и неравенство между группами. Подбор групп с большим числом участников не решает проблем, т.к. в одну группу могут попасть похожие по одному свойству люди: трудолюбивые и способные или лентяи и бездари, ведь они же друзья!!!. Нужна рандомизация! Или случайный порядок образования групп. Попадание людей в каждую группу основано на применении последовательности случайных чисел. Каждый член генеральной совокупности (популяции) имеет равную вероятность попасть в выборку. В результате экспериментальная и контрольная группа отличаются только условием НП (Х-воздействием). Рандомизация не дает равенства групп, но дает их эквивалентность. Решение проблемы подбора групп: предварительное тестирование. Учитывают исходный уровень переменной, влияющей на изучаемый процесс.
Контроль состава групп.
Стратегии подбора испытуемых в группы.
Строгий критерий подбора (рандомизация). Группа хорошо представляет популяцию. Внешняя и внутренняя валидность эксперимента взаимосвязаны. Соответственно исследование с таким способом отбора испытуемых будет обладать высокой популяционной валидностью. Кроме того, поскольку побочные переменные, связанные с индивидуальными различиями людей, предположительно случайно распределятся между испытуемыми контрольной и экспериментальной групп, то возможные с ними смешения будут в равной степени характеризовать состав обеих групп, т.е. эти группы будут эквивалентными, что обеспечит высокую внутреннюю валидность эксперимента.
Стратегия случайного подбора в группы. Уже есть испытуемые, их просто надо разделить по группам. Способ отбора потенциальных испытуемых из популяции не проконтролирован.
Отбор из популяции по заданному критерию (пол, возраст, профессия, образ жизни). Для выборок испытуемых и для групп испытуемых.
Стратегия попарного уравнивания. Выборка уже определена, испытуемые могут быть предварительно протестированы. Тестирование – измерение побочного фактора, который может определить неэквивалентность групп. Испытуемые ранжируются в соответствии с оценками и разбиваются по парам. Каждая пара разделяется между двумя группами. При использовании этой стратегии для контроля более чем одной ПП состав групп оказывается нерепрезентативным для популяции.
Стратегия случайного распределения слоев. Первый этап: по результатам предварительного тестирования составляют группы, соответствующие соответствующим характеристикам слоев, число групп равно числу уровней ПП. В результате – состав испытуемых в каждой группе уравнивается по всем ПП. Второй этап: из каждого слоя случайным образом отбирают лиц в контрольную и экспериментальную группу. В результате использования этой стратегии в каждой из отобранных групп равным образом представлены каждый уровень ПП. Пример: уравнивание по фактору гендерных различий контролируется по представленности в группах мужчин и женщин.
Случайный отбор групп. Отбор испытуемых в группе означает нарушение экологической валидности ситуации. Пример, сравнение методов обучения в средней и высшей школе.
41. Операционализация переменных, операциональная и конструктная валидность.
Валидность конструктная – аналог внешней валидности; оценка соответствия представленных в экспериментальной гипотезе переменных и отношения между ними теоретическим конструктам и теоретической гипотезе, из которой в качестве следствия выводится экспериментальная гипотеза.
Валидность операциональная – оценка проведенного эксперимента с точки зрения степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые использованы в исследовании. В лабораторном эксперименте может совпадать с оценкой конструктной валидности.
Операционализация переменных-это способ их (переменных) задания, фиксации показателей различных процессов (внимания, решения задачи и т.п.)
42. "Искусственные" эксперименты и эксперименты, "дублирующие реальный мир".
Естественный эксперимент мыслился А. Ф. Лазурским как средняя позиция между строгим экспериментом и менее строгим наблюдением. В его характеристике предполагались возможность «диффузных» экспериментальных воздействий, а также приближение к естественным условиям жизни и деятельности субъекта.
Если рассматривать современные критерии оценивания внешней валидности эксперимента, включающие решение проблем соответствия экспериментальных факторов реальным условиям, то можно отметить, что А. Ф. Лазурский предвосхитил критерий классификации экспериментов, который связан с ориентировкой на типы переменных: эксперименты, «дублирующие реальный мир»; эксперименты «искусственные» (или «моделирующие», улучшающие реальн.мир)
Критерий тут – соответствие НП условиям реальной жизни или теор. понятиям.
Искусственный экспер-т моделитует реальную ситуацию, в этом его отличие от лабораторного. Искусственными называют такие эксперименты, в которых экспериментальная ситуация моделирует исследуемую реальную, но позволяет лучше контролировать связь между НП и ЗП за счет элиминации (устранения или стабилизации) ряда ПП, обычно представленных в реальных условиях жизнедеятельности человека.
Готтсданкер разделяет эксперименты, дублирующие реальный мир и эксперименты, улучшающие реальный мир. Он говорит о том, что выводы естественного эксперимента приложимы только к конкретному испытуемому, и являются исключительно практическими по своей направленности, не подразумевая какой-либо теории. Фактически, это эксперименты в практических целях.
Эксперименты, улучшающие реальный мир, предполагают очищение условий, так, чтобы это не влияло на качество изучаемого процесса, аналогичного тому, который имеет место в реальных ситуациях. Именно этот тип экспериментов Готтсданкер называет искусственными, и обсуждает проблему их внешней валидности.
43. Специфика лабораторного эксперимента.
Лабораторный эксперимент – эксперимент в специально созданных условиях, позволяющих выделить так называемую чистую независимую переменную путем контроля всех других условий, с которыми может смешиваться ее влияние.
Тут – очищение условий – изменение единичной НП. Нет соответствия в реальной жизни, зато соответствует теоретическому понятию. Лабораторный экспер-т воспроизводит теоретическую модель в лабораторных условиях. Лабораторные эксперименты предполагают очищение условий эксперимента таким образом, чтобы можно было изменять единичные НП. При этом могут быть организованы такие условия НП, которым в реальности ничего не соответствует, например, условия дихотического прослушивания.
Путем тщательной операционализации понятий и очищения условий исследователь получает переменные, соответствующие теоретическим конструктам, согласно которым предполагаемая теоретически закономерность операционализируется в конкретных методических процедурах.
44. Связь обобщений с типом эксперимента. Направления обобщений в психологическом исследовании.
Главная цель любого эксперимента – на основании ограниченного числа полученных данных сделать выводы, распростр на более широкую область практики. Правомерность возможных обобщений зависит от:
найденные эксперименте отношение между НП и ЗП должно быть свободным от влияния др переменных
постоянный уровень ДП, задействованной в эксперименте должен соотв ее уровню в более широкой области практики
В практич индивидуальных экспериментах обобщение выглядит как общее заключение на основании ограниченного числа опытов, справедливое только для данного конкретного испыт.
Возможность обобщения результатов связана с репрезентативностью эксперимента и его валидностью и зависит от контроля побочных факторов (внутренняя валидность) и от соответствия ДП.
Выделяют обобщения экспериментальных результатов:
на изучаемую реальную ситуацию (искусственный эксперимент)
на др представителей популяций (групповой эксперимент)
распространение теоретических представлений (лабораторный эксперимент)
45. Экспериментальный контроль и контроль за выводом.
Экспериментальный контроль – все способы усовершенствования эксперимента, приближающие его к безупречному. Включает способы задания уровней НП (функциональный контроль НП или управление экспериментальными факторами), контроль побочных переменных (как источников конкурирующих объяснений) и всех факторов, которые могут угрожать валидному выводу о причинном действии НП на ЗП. Разработка экспериментальных схем, или планов, – основной, но не единственный компонент экспериментального контроля. Экспериментальный контроль – условие контроля за выводом.(словарь Корни)
Контроль за выводом – составляющая рассуждений в логике выводов из психологического исследования. В экспериментальном исследовании согласуется с предполагаемыми формами экспериментального контроля, определяющими возможные выводы. Это мысленный контроль исследователем разных этапов на пути к достоверным выводам, который означает следование нормативам рассуждений как в контексте общей логической компетентности (при планировании исследования и организации выводов), так и в контексте использования специфичных для тех или иных методов нормативов проверки психологических гипотез (словарь Корни).
После этапов планирования и проведения исследования, получения и обсуждения результатов необходимо сделать выводы, или обобщения.
Выводы о необходимости отвергнуть проверяемую гипотезу или считать ее выдержавшей эмпирическую проверку, а также о возможности переноса обобщений могут оказаться достоверными (валидными), или недостоверными (артефактными).
Даже когда у нас получены достоверные результаты, все равно остается возможность ошибиться в уровне обобщения относительно проверяемой психологической гипотезы, в принятии решения об экспериментальном факте или о виде полученной зависимости!
Основные источники артефактных выводов:
Проведение невалидного эксперимента; следствие: принятие ошибочных решений о результате действия переменных.
Недостаточный контроль за выводом, т.е. нарушение правил гипотетико-дедуктивного рассуждения и осуществление неверных умозаключений или неверных обобщения.
Оценка валидности эксперимента как условие достоверных выводов. В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если полностью реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Эксперимент валидный если:
Проконтролированы все возможные или наиболее явные угрозы внешней и внутренней валидности
Хорошо решены проблема операционализации переменных и проблемы соответствия.
Артефактные выводы возможны в результате как неверных обобщений, так и проведения невалидных экспериментов.
Возможность обозначить возможности и ограничения последующих выводов дает первичный контроль, выбор плана, «дополнительное варьирование» и т.д. Важно так же формальное и содержательное планирование.
Первый этап при оценке достоверности выводов – оценка правильности принятия решения об экспериментальном эффекте.
Общие линии рассуждений о возможности принятия экспериментальной гипотезы (после статистических решений):
Рассуждения, реализуемые исследователем при переходах между различными уровнями проверяемых гипотез: статистических и содержательных (т.е. психологических), экспериментальных (включая контргипотезу) и теоретических.
Рассуждения при обосновании интерпретационного звена экспериментальной и теоретической гипотез, т.е. психологического понимания принятого причинного объяснения, и др. – конкурирующих объяснений.
Контроль за выводом предполагает более формальный аспект оценки приемлемости проверяемого утверждения с т.з. анализа логически возможных соотнесений эмпирического результата и оценки валидности как реализованных форм экспериментального контроля.
Если в исследовании был получен ожидаемый в соответствии с сформулированной психологической закономерностью экспериментальный эффект, это еще не позволяет автоматически принять или отвергнуть ЭГ или КГ.
Следующим условием, влияющим на принятие вывода об установленной эмпирической зависимости, является оценка валидности психологического эксперимента.
Ошибки на пути к конечным обобщениям приводят к формулированию неверных (артефактных) выводов.
Виды артефактных выводов:
неверный вывод из-за неверных статистических решений. Пр.:Исследователь может проглядеть, что нужно отвергнуть как экспериментальную гипотезу, так и контргипотезу необходим поиск третьей конкурирующей гипотезы.
неверный вывод о действии НП из-за невнимания к строгой оценки валидности эксперимента, за которой кроется ошибка принять в качестве положительного подтверждения экспериментальной гипотезы артефактным результатом или возможность проглядеть истинную зависимость.
неверные обобщения из-за неучета ДП или ошибок в понимании соотношения теоретического утверждения и эмпирического базисного высказывания в экспериментальной гипотезе.
замена или искажение рассмотренных нормативов экспериментального вывода оценочными суждениями, аппеляцией к авторитету или содержательно необоснованными критериями. Эти ошибки связаны с ценностными отношениями к содержанию проблемы или выводами и недостаточной критичностью к тому, что в исследовании оказалось упущенным. Ошибки:
А) Недостающие звенья в причинных объяснениях: каузальные факторы, гипотетически ответственные за возникновение того или иного феномена или обусловливающие связи переменных, могут описываться без достаточно детального рассмотрения, что приводит к возникновению «недостающего звена» между объяснением и обобщением. Пр.: Материнская депривация расстройство адаптации.
Б) Неправомерное выделение основной причины – при формулировании обобщений, включающих объяснения эмпирических зависимостей, какая-либо частная причина может быть принята за основную и исчерпывающую. Пр.: при объяснении связи материнской депривации с недостатком адаптации за единственную причину берут отсутствие физич контакта)
В) Подмена одного высказывания другим - автор может некритично предположить, что одна зафиксированная им ситуация гарантирует содержание другой и сообщить только о последней Пр.: никто из испытуемых не читал «Плейбой» - никто просто не признался что читал «Плейбой.
Г) Ошибка ценностных суждений – содержательные выводы о подкрепленности гипотез опытными данными вводятся в контекст ценностных отношений так, что желаемая оценка значимости эффекта с точки зрения социального ил этического критерия связывается с проблемой «доказанности» посылок автора. Оценка актуальности не может выступать критерием истинности проверяемых в них гипотез
Д) Редукционизм выводов – в редукционизм рассматривается как подмена объяснений не или как поиск объяснения определенного числа различных явлений посредством сведения их к одному принципу объяснения:
за счет схем их других наук
организация выводов в рамках принятой объяснительной парадигмы тех или иных школ
Е) Неправомерные апелляции к авторитету – утверждение о том, что некоторый экспериментатор имеет некоторое мнение, может полагаться в качестве достаточного или значимого довода для подтверждения этого гипотетического суждения. Ошибка суждения здесь имеет место в том случае, если вместо прошедших проверку на истинность доводов для оценки содержания гипотез привлекается ссылка на мнение авторитета
Ж) Апелляция к факту – ошибка суждения заключается в том, что в качестве достаточного или значимого довода предлагается утверждение о том, что доказательство, подтверждающее некую точку зрения, являющиеся «установленным» или «общепринятым» фактом. Довод необходимо аргументировать, т.к. такое доказательство является спорным.
46. Выборочные обследования и статистические данные в выдвижении и проверке психологических гипотез.
Статистический контроль – способы выявления смешений измеряемых в соответствии с гипотезой переменных с другими – побочными – переменными. В корреляционном исследовании заключается в использовании больших выборок испытуемых, благодаря чему, во-первых, охватывается весь диапазон вариаций переменной и, во-вторых, другие различия между людьми могут считаться случайно распределенными на всех уровнях измеряемой переменной. Статистический контроль не следует путать с проверкой статистических гипотез. Статистический контроль осуществляется уже на этапах планирования и сбора данных, в то время как статистическая оценка достоверности полученных связей или различий между выборочными значениями переменных – это этап обработки данных.
Виды статистических гипотез: нуль гипотеза – Н0, альтернативная – Н1, она логически отрицает Н0.
Критерий к Н0 – критерий Стьюдента. Мы должны определить критические области, если статистика критерия (формула для вычисления) в этой области, то Н0 – верна. В следствие такого рассуждения могут возникнуть ошибки 1 рода (эффект по-нашему мнению есть, а его в реальности нет) и ошибка 2 рода – эффекта нет, а он есть (мы лохи). Вероятность ошибки 1 рода – альфа, а вероятность ошибки второго рода – бета (обратная связь). Если увеличивается альфа, то понижается бета, и наоборот. Они НЕ ЛИНЕЙНЫ!!! (можно вспомнить еще про уровень значимости 0,05). Чтобы повысить достоверность результатов надо: 1) увеличить число испытуемых; 2) уменьшить статистический шум (случайные воздействия).
Корреляция – статистическая мера связи, равная ковариации стандартизованных переменных.
Корреляция аутохонная – корреляция результатов измерения одной и той же переменной на одних и тех же объектах; в психологическом исследовании – на одних и тех же испытуемых, например, в разные промежутки времени.
Корреляция перекрестно-отсроченная – связь между двумя переменными, измеренными в разные промежутки времени: одна – на первом, а другая – на втором этапе исследования.
Корреляция синхронная – связь между разными переменными, измеренными одновременно (на одном и том же этапе исследования). Ковариация – мера связи двух или более рядов выборочных значений переменных. Выборочный коэффициент ковариации для двух переменных X и Y подсчитывается как произведение отклонений каждой переменной от среднего:
Ковариация переменной с самой собой – это дисперсия.
47. Схемы лонгитюдных исследований в психологии.
Лонгитюдное наблюдение проводится в течение длительного времени, обычно несколько лет. Оно предполагает постоянный контакт исследователя и «объекта» изучения. Результаты таких исследований фиксируются обычно в виде дневников и широко охватывают поведение, образ жизни, привычки наблюдаемого.(корни)
Лонгитюдная схема сбора эмпирических данных в исследованиях занимает особое место:
из-за специфики проверяемых гипотез : это гипотезы, предполагающие выявление процессов развития
она представляет пример наиболее устоявшихся квазиэкспериментальной схемы: аналог ЗП в ней – измеряемые различия между группами, а НП – такое различие как фактор времени. За фактор времени полагают изменения в базисных процессах, просматриваемых в виде «кривых развития» относящихся к одной и той же группе исптуемых.
Лонгитюдный метод – это метод прямонаправленный на установление изменений интраиндивидуального типа, т.е , физиологических или иных изменений, происходящих с течением времени у отдельного конкретного субъекта.
Начало таких исследований и появление термина «лонгитюдный метод» относится к 20-30 годам 20 века.
Лонгитюдный метод = метод продольных срезов, противопоставляется классическому методу поперечных срезов. Этот метод предполагает, что сведения о типичных возрастных особенностях получают путем сравнения показателей, одновременно фиксируемых у разных испытуемых, принадлежащих к изучаемым возрастным категориям, что соответствует межгрупповой схеме получения данных. В лонгитюдном методе устраняется фактор межгрупповой вариативности.
В 60-70 года развитие методологии привело к тому, что речь должна идти не о лонгитюдных исследованиях, т.к в действительности имеется в виду не какой-нить один конкретный метод, а различные методы, объединенные общим названием на основе же особой организации исследования. Отличительным признаком такой организации явл систематическое измерение изучаемой особенности, или базисной переменной у одних и тех испытуемых на протяжении определенного промежутка времени.
В принципе период времени может быть любым, хотя обычно имеется в виду достаточно продолжительный интервал времени, измеряемый годами.
Главная цель применения лонгитюдного подхода состоит в исследовании феноменов с точки зрения изменения во времени, т.е. такое исследование направлено на:
установление интраиндивидуальных изменений
установление межиндивидуальных различий с точки зрения характера происходящих с течением времени интраиндивидуальных изменений
Для объяснений процессов изменения как проявлений развития требуются специальные процедуры, направленные на каузальный анализ:
взаимосвязей в характеристиках установленных изменений
факторов, обуславливающих интраиндивидуальные изменения
факторов, обуславливающих межиндивидуальные различия в происходящих с течением времени интраиндивидуальных изменениях
С содержательной точки зрения понятие интраиндивидуальных изменений распространяется на изменение 2-х типов:
изменение (или константность) уровня или степени проявления исследуемой характеристики поведения
интраиндивидуальное изменение может относится к изменению самой формы поведения или базисного процесса
Лонгитюдный метод предполагает сравнение характера процессов изменений, происходящих у разных индивидов, т.е. исследуются степени сходства интраиндивидуальных изменений у индивидов из изучаемой выборки.
Межиндивидуальные различия анализируются после получения данных об интраиндивидуальных изменениях путем сравнений траекторий (индивидуальных кривых), отражающих динамику хода изменений у разных индивидов (характеристикики темпа, формы, временных сроков).
С точки зрения планирования исследования лонгитюдный подход первоначально характеризовался как такое исследование, в котором в качестве НП выступает хронологический возраст испытуемых, а изменения значения ЗП (напр., умственного развития) фиксируется в ходе систематически повторяющихся измерений выбранных показателей.
Главная трудность, на которую наталкивается лонгитюдный метод связана с наличием смешения (систематического и сопутствующего) 3-х переменных: возраста, специфических особенностей выборки и времени измерения.
В реальности 3 основные переменные лонгитюдного исследования – возраст, время измерения и специфические особенности выборки + поколения – переплетены и тесно взаимодействуют, что и обуславливает основную сложность задачи установления каждой из 3-х названных переменных в отдельности.
Современная модель лонгитюда:
Наибольшую известность получила схема исследования, предложенная Шайи. Суть этой схемы: в сочетании лонгитюдной стратегии с др. методами получения и анализа данных – традиционным сравнительно-возрастным методом и методом временного запаздывания.
Диагональ (объединенная) показывает схему сравнительно-возрастного метода, когда исследованию подвергаются испытуемые разного возраста, принадлежащие разным когортам, причем измерение изучаемого параметра проводится у всех возрастных групп одновременно.
Горизонтальная строка – лонгитюд – одна когорта испытуемых в течение некоторого времени проходит тестирование в разные возраста.
Вертикальный столбец – иллюстрирует план исследования методом временного запаздывания, когда по достижению определенного возраста исследованию подвергаются представители разных когорт населения.
Для разделения источников вариативности Шайи предложила попарное сочетание вышеназванных методов для одновременного анализа 2-х или более поведенческих последовательностей.
Это основано на сравнении результатов (ЗП), полученных при лонгитюде 2-х или более когорт. Это позволяет отделить возрастные изменения от различий в поколениях идет сравнение 2-х или более последовательностей результатов, полученных при измерении испытуемых всех возрастных групп изучаемого диапазона.
Так можно разделить влияние переменных возраста, когорты и времени измерения и установить связи их с изучаемой характеристикой.
Практические аспекты:
проблемы формирования и сохранения выборки испытуемых (миграция)
отсеивание части испытуемых есть всегда уменьшение выборки угроза внешней валидности
фактор повторного измерения ЗП
48. Специфика кросс-культурных исследований в психологии.
Кросс-культурные исследования (далее ККИ) направлены на изучение психики и поведения человека с точки зрения их обусловленности социальными и культурными факторами. В качестве подвергающихся сравнению культурных групп могут выступать целые нации, но могут сравниваться и этнические группы, живущие в рамках одной страны.