10. Надежность психодиагностического инструментария. Виды надежности (продолжение).

1.Воспроизводимость результатов исследования

2.Точность измерения

3.Учтойчивость результатов, получаемых с помощью определенной методики, во времени и по отношению к различным помехам (побочным переменным). В узком тестологическом смысле надежность понимается как согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний (результаты тестов состояний могут все время меняться).

(Лекции Орел) Виды надежности:

-параллельные формы теста

-надежность-устойчивость

-надежность-согласованность

Параллельные формы теста – измеряют один конструкт, имеют одинаковую дисперсию ошибок, обладают одинаковой надежностью. Для любой методики можно создать параллельную форму, которая измеряет тот же конструкт. Коэффициент корреляции между параллельными формами теста – коэффициент надежности.

Ретестовая надежность (надежность-устойчивость):

• Измеряет устойчивость результатов теста во времени

• Интервал для повторного тестирования от 2 до 8 недель

• Подходит для оценки надежности методик, измеряющих устойчивые психологические черты – но! На одной и той же выборки, в тех же условиях

3 фактора, ограничивающих применение ретеста:

• Не все черты устойчивы во времени. Для методик состояния не подходит ретест, для интеллекта – подходит

• Интервал между тестом и ретестом: слишком длинный – черта может измениться, слишком короткий – человек может запомнить свои результаты или задания

• Применение на детях и подростках – развитие может искажать, для каждого возраста интервал подбирается отдельно

Надежность-согласованность - соответствие результатов внутри одного теста.

Способы измерения:

1. Расщепление теста пополам

2. Коэффициент Альфа Кронбаха – самый популярный способ измерения надежности. Альфа Кронбаха в целом будет возрастать по мере увеличения взаимных корреляций переменных, и, поэтому, считается маркёром внутренней согласованности оценки достоверности результатов тестов. Т.к. максимальное взаимные корреляции между переменными по всем пунктам присутствуют, если измеряется одно и то же свойство, альфа Кронбаха косвенно указывает на степень того, насколько все пункты действительно измеряют одинаковое свойство. Однако, следует заметить, что высокое значение коэффициента указывает на наличие общего основания у набора вопросов, но не говорит о том, что за ними стоит один единственный фактор. Профессионально разработанные тесты должны иметь внутреннюю согласованность на уровне не менее 0.90

Надежность и валидность находятся в следующем неравенстве:

Валидность < или = Надежности, но при этом увеличение надежности не обязательно влечет увеличение валидности.

11. Репрезентативность и виды тестовых норм.

Репрезентативность – одна из психометрических характеристик теста. Говорит о возможности использования тестовых норм, выработанных на выборке стандартизации при разработке теста, для всей генеральной совокупности испытуемых, для которых данный тест предназначен. Также она значит, что с некоторой статистической погрешностью можно считать, что представленное в выборке распределение психических свойств соответствует их реальному распределению. Репрезентативность позволяет классифицировать результаты тестирования - выделять высокий, средний и низкий уровни выраженности психических свойств. Если тест не репрезентативен, то предлагаемые им оценки выраженности свойств будут неприменимы за пределами выборки стандартизации.

Для оценки репрезентативности проводится анализ распределения тестовых баллов. Обычно при получении кривой нормального распределения делается вывод о том, что тестовые обладают репрезентативностью. Для проверки нормальности распределения используются различные статистические критерии (например критерий Колмогорова-Смирнова). Но нормальность - не необходимое условие репрезентативности, репрезентативность тестовых норм может достигаться и без него. Если распределение тестовых баллов отличается от нормального, то для проверки репрезентативности необходимо решить вопрос об устойчивости тестовых норм: производится расщепление выборки пополам и сравнение распределений тестовых баллов в первой и второй половине выборки (мы делали на психодиагностике). Если различий нет, то распределение тестовых баллов является устойчивым, а тестовые нормы - репрезентативными.

Психодиагностические нормы позволяют выносить диагностические заключения (относить испытуемого к определенной диагностической категории), что невозможно сделать просто на основании подсчета сырого тестового балла по ключам. Нормативные границы разделяют весь диапазон тестовых баллов на интервалы, соответствующие определенным уровням выраженности измеряемого признака.

Первоначальный суммарный балл, подсчитанный с помощью ключа, но его нельзя диагностически интерпретировать, это всего лишь «сырой тестовый балл». Применение тестовых норм в психодиагностике основывается на процедуре стандартизации тестового балла: перевод тестовых баллов из «сырой» шкалы в «стандартную».

В психодиагностике следует различать как минимум два различных вида норм: статистические и социокультурные. Первый вид чаще применяется для оценки стилевых и мотивационных черт. Второй вид - для оценки способностей и достижений (знаний и умений).

Статистическая норма - это средний диапазон значений на шкале измеряемого свойства. Норма здесь - близость значения свойства к тому уровню, который характеризует статистически среднего индивида. Значимое отклонение от нормы в этом случае (выход за пределы среднего диапазона) называется акцентуацией, а данная личностная черта называется «акцентуированной». Чем сильнее выражено это отклонение, тем более сильной считается акцентуация.

Социокультурная норма - это уровень свойства, который явно или неявно считается в обществе необходимым.

Кроме того следует выделять еще 2 типа норм.

1. «Абсолютные» тестовые нор­мы - в роли шкалы для вынесения диагноза выступает сама шкала сырых баллов.

2. «Критериальные» тестовые нормы. При­менение таких норм можно считать оправданным в двух случаях: 1) когда сама тестовая «сырая» шкала имеет практический смысл (на­пример, студент, изучающий иностранный язык, должен знать как можно больше слов этого языка, и сырой показатель лексического теста имеет практический смысл); 2) когда сырой балл по тесту в ре­зультате эмпирических исследований связывается с заданной вероят­ностью успешности какой-либо практической деятельности (вероят­ность успеха «критериальной» деятельности, каковой для упомяну­того выше примера может быть синхронный перевод монолога в те­чение 30 минут).