Вопрос 40.

Одномоментная надежность методики. Процедуры её определения.

Способ определения одномоментной надежности состоит в коррелировании сопоставимых форм методики.

Одномоментные методики-это серии заданий,и.возможность приведения одних показателей к др. с помощью спец.коэф-тов или таблиц эквивалентности.

3варианта вычисления одномоментной надежности:

1)метод параллельных форм,

2)метод расщепления

3)метод анализа согласованности ответов по всем пунктам методики (метод Кьюдера-Ричардсона).

1)Метод параллельных форм - использование взаимозаменяемых вариантов, соответствующих друг другу по основным характеристикам (объективности, надежности, валидности, трудности и дискриминативности). (снижает вероятность обмана, присутствует фактор тренировки).

Вывод:относительная трудность двух параллельных форм методики может меняться от одного индивида к другому под действием факторов, связанных с прошлым опытом различных испытуемых.

Метод расщепления методики - выполнение испытуемым заданий двух равноценных частей методики. Надежность, найденная методом расщепления, является мерой согласованности выборок содержания.

Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы пунктов.

2)Способы разделения на 2 части:

1)разделение пунктов методики на "четные" и "нечетные"; (если задания целиковые, то делить нельзя; также при разделении на четные и нечетные необходимо произвести ранжирование по степени сложности заданий.2) распределение заданий по времени решения каждой из частей методики

После расщепления методики на две половины отдельно по каждой части вычисляются:

1)общее кол-во пунктов2)суммарные баллы отд.по каждой части3) Дисперсии4)Коэф-т корреляции5)Коэф-т надежности

Если Дисперсии 2-х частей =,то индекс ОднН. вычисляется по формуле Спирмена-Брауна:

,

где r – коэффициент корреляции между 1-й и 2-й частями методики.

Если Дисперсии не равны, то в случае больших выборок (>100) следует пользоваться формулой Фланагана,

а в случае малых выборок (<100) – формулой Кристофа:

3)Процедура определения согласованности выполнения заданий теста была разработана в 1937 г. американскими психологами Джорджем Кьюдером и М.В. Ричардсоном. Такова известная формула KR₂₀:

где KR₂₀ – традиционное обозначение для получаемого коэффициента надежности всего теста;

s² – дисперсия суммарных показателей по всему тесту;

n – число пунктов (заданий) теста;

p_i и q_i – доля испытуемых, соответственно справившихся и не справившихся с i-заданием:

Здесь N₊ – число испытуемых, ответивших "верно", N – объем выборки.

Подведем итог рассмотрению надежности целой методики.

Различные типы надежности отличаются друг от друга тем, какие факторы взяты в качестве источников дисперсии ошибки .

Любой коэффициент надежности можно интерпретировать непосредственно в процентах дисперсии показателей. Причем суммарную дисперсию ошибки можно разложить на отдельные составляющие.

Вопрос 41.

Надежность отдельных пунктов теста. Процедуры её определения.

Надежность целой тестовой методики обеспечивается надежностью пунктов, из которых она состоит. До включения в методику отдельный пункт должен быть оценен с точки зрения объективности, валидности, устойчивости, силы / трудности и дискриминативности.

Объективность пункта методики устанавливается экспертами-психологами. (не менее трех)

Экспертная оценка объективности каждого пункта предполагает его анализ с точки зрения:

• соответствия концепту (соответствует – частично соответствует – не соответствует);

• однозначности формулировки вопроса / задачи (однозначно – не совсем однозначно – не однозначно);

• пригодности вариантов ответа (подходит – частично подходит – не подходит).

Во время анализа надо учитывать, что если пункт хотя бы в 20 % случаев оценивается как "частично соответствует концепту", то его следует признать непригодным для использования в методике. В сомнительных случаях путем опроса экспертов нужно уточнить мотивировку оценок отдельных пунктов.

Валидность. Задача считается валидной, когда в соответствии с критерием она чаще всего правильно решается теми испытуемыми, у которых измеряемый признак более выражен, чем у других.

Устойчивость. Пункт является устойчивым, если при его повторном предъявлении он вызывает у испытуемого эквивалентную первому предъявлению реакцию.

Для дихотомических пунктов (типа "решил – не решил", "согласен – не согласен", "да – нет") устойчивость измеряется с помощью четырехклеточной матрицы сопряженности:

		Тест 2
		Да	Нет
Тест 1	Да	а	b
	Нет	c	d

В качестве меры корреляции вычисляется фи-коэффициент.

.

Значимость фи-коэффициента определяется с помощью критерия (хи-квадрат):

.

Если вычисленное значение меньше табличного с одной степенью свободы, то нулевая гипотеза об отсутствии устойчивости пункта не отвергается (т.е. пункт признается неустойчивым).

Использование фи-коэффициента удобно потому, что он одновременно оценивает степень оптимальности данного пункта теста по силе вопроса или трудности задания.

трудность задания – хар-ка, отражающая статистический уровень его решаемости в конкретной выборке стандартизации. 2 вида трудности: субъективно – психологическая; статистическая.

1)субъективно-психологическую (связана с индивидуально-психологическим барьером, величина которого определяется как обстоятельствами ,так и уровнем формирования необходимых для решений знаний, умений и навыков, психическим состоянием испытуемого и рядом других факторов.)

2)статистическую (объективную) трудности.

,

где U_T – индекс трудности в процентах, N₊ – число испытуемых, правильно решивших задание,N – общее число испытуемых.

В тестах типа "Выбор" с несколькими вариантами ответов испытуемый может случайно угадать правильный ответ. Для учета такого случайного успеха используется формула:

где N_– – число испытуемых, не решивших задание,

m – количество вариантов ответа (например, в сериях С–Е теста Равена m = 8).

В случаях, когда велики выборка стандартизации (больше 100 испытуемых) и количество пунктов теста, индекс трудности определяется с помощью сопоставления контрастных (крайних) подгрупп.

Необходимо отметить, что чем больше значение индекса трудности, тем статистическая трудность задания выше, и наоборот. (оптимально=50)

Здесь необходимо отметить, что статистическая трудность задания является относительной характеристикой, т.к. зависит от особенностей выборки (ее возрастных, профессиональных, социокультурных и других различий).

Остановимся на вопросе упорядочивания отдельных заданий в тесте. Обычно если задание решают большинство испытуемых из выборки стандартизации, его (как легкое) помещают в начале теста. Если же задание решает незначительный процент испытуемых, то его (как трудное) помещают в конце теста. Одну-две самые легкие задачи ставят перед основными заданиями теста и используют в качестве примера.

Дискриминативность,- показатель согласованности пункта с тестом. В качестве меры соответствия успешности выполнения одной задачи (пункта) всему тесту в психодиагностике используются:

1) коэффициент дискриминативности данного пункта теста;

2) индекс дискриминации пункта;

3) четырехпольный коэффициент корреляции.

Коэффициент дискриминативности отдельного пункта равен коэффициенту корреляции между средним результатом анализируемого пункта (по принципу правильного/неправильного ответа или совпадения с ключом) и средним первичным результатом по всем пунктам теста. То есть коэффициент дискриминативности учитывает амплитуду отклонения индивидуальных суммарных баллов от среднего балла.

Из множества известных коэффициентов корреляции наиболее точной мерой оказался точечно-биссериальный коэффициент корреляции:

,

где – среднее арифметическое всех индивидуальных оценок по всему тесту (средний балл по всем испытуемым);

– среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание / показавших совпадение с "ключом";

s_х – среднеквадратичное отклонение индивидуальных оценок всех испытуемых выборки по всему тесту;

N₊ – число испытуемых, правильно решивших анализируемую задачу (или тех, чей ответ на данный пункт опросника соответствует "ключу");

N – общий объем выборки.(>200)

Если <200:

,

где – среднее арифметическое индивидуальных оценок испытуемых, выпол- нивших данное задание;

s_хd – среднеквадратичное отклонение индивидуальных оценок испытуемых, выполнивших данное задание;

N_d – общее число испытуемых, выполнивших данное задание.

Коэффициент дискриминативности, как и любой коэффициент корреляции, может принимать значения от –1 до +1. Высокие положительные значения этого коэффициента свидетельствуют об эффективности деления испытуемых; высокие отрицательные значения – о непригодности данного пункта для теста.

Задачи, характеризующиеся средней трудностью (около 50), обладают высокой дискриминативной способностью.

Индекс дискриминации D отдельного пункта теста вычисляется как разность между долей лиц, правильно решивших данную задачу (показавших совпадение с "ключом"), из "высокопродуктивной" и "низкопродуктивной" групп. Каждая из контрастных групп включает в себя по 27 % испытуемых от численности выборки, имеющих соответственно лучшие и худшие результаты по тесту в целом:

,

где ,– числа испытуемых, выполнивших данное задание в "высокой" и "низкой" контрастных группах;

,– объемы контрастных групп.

Наконец, для оценки дискриминативности можно воспользоваться четырехпольным коэффициентом корреляции:

	Высокая	Низкая
Да	А	В
Нет	C	D

В первом столбце таблицы суммируются ответы испытуемых из "высокой" группы (при нормальном распределении – это "верхние" 27 %), во втором столбце – из "низкой" (нижние 27 %). Четырехпольный коэффициент корреляции рассчитывается по следующей формуле.

Если a > b: ;

Если a < b: .

Критические значения этого коэффициента, свидетельствующие о диагностической ценности пункта, вычисляются по формуле хи-квадрат: и проверяются для одной степени свободы.