26. Стандартизация и нормирование результатов тестирования.

VI. Критериально-ориентированное тестирование

27. Отличительные особенности КОРТа по сравнению с другими психодиагностическими процедурами. Концепции критерия, разработка и применение КОРТа.

КРИТЕРИАЛЬНО ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ (КОРТ)

Отличительная черта: оценка выполнения теста с точки зрения его соответствия критерию. КОРТ измеряет что индивид знает или умеет по сравнению с тем что он должен знать и уметь. Критерий – аспекты выполнения учебных заданий, выраженные в терминах знаний, умений, навыков, умственных действий.

В оценки знаний сущ различные подходы, один из них ориентировании на статистическую норму.

Между КОРТом и методами ориентированными на норму имеется ряд различий:

1 – цели изготовления теста

2 – специфичность информации при оценивании выполненных учебных задач

3 – способы конструирования и разработки

КОРТ конструируется но определенную учебную задачу, где между ним и задачей планируются отношения содержательного соответствия релевантности(есть качественная сторона анализа).

В отношении КОРТ может быть использована процедура стандартизации.

Концепции критериев в КОРТе

В 70 годах при его разработке придерживались концепции критерия как эталонной совокупности предметных знаний и умений (уровень выполнения и ур мастерства).

Учебный процесс рассматривался как последовательная отработка каждого элемента учебного поведения. Эти элементы фиксируются как репертуар наблюдаемых внешних действий.

Термины: понимать, оценить, проявить осведомленность, принять во внимание, реализовать – прямо не указывают на характер действий, которое следует совершить. Более соответствующими будут термины: написать, обозначить, вычислить, подчеркнуть.

Достижение учебной цели фиксируется процентно-верным уровнем выполнения заданий. Ур выполнения соответствующий требуемому усвоению должен быть порядка 80-100%. Практика показывает, что фиксация этого уровня отражает устойчивость понимания материала. Снижение до 70% дают ухудшения учебных результатов.

24.04.09

В КОРТе возникает понимание критерия как уровня мастерства – это совокупность операциональных компонентов, составляющих конкретное умение. Можно сравнить что делает обучающийся с тем, что он должен уметь делать.

Особенность критериально ориентированных тестов, состоит в том, что они не только выявляют объем усвоенного материала, но и указывают на возможности активно использовать полученные знания в усвоении нового, более сложного материала.

Тесты с ориентацией на уровень выполнения могут установить достаточную подготовленность учащегося чтобы перейти на следующий этап обучения. Остается неясным, организованны ли эталонные структуры и на каком уровне они образованы. Уровень же мастерства раскрывает критериальные требования, которые обусловлены в теории и методики обучения, стандартами и образцами усвоения.

Концепции критерия в КОРТе основываются на бихевиористической теории.

Усвоение материала предполагает соответствующий уровень развития.

Виды КОРТы:

1 – используется критерий соц психологический норматив – совокупность понятий и логических умений необходимых на данном этапе. Умственный инвентарь. Определение соц пси норматива определяет логико-пси подготовленность к выполнению заданий широких предметных областях (математика, общественно гуманитарные дисциплины). На основе данного критерия разработаны м. Анхауэра, тест ШТУР.

2 – логико- психологическая подготовленность, к выполнению конкретных специфических заданий (математические, языковые, биологические). Критерий – предметно логический эталон актуализации умственных действий. Анализу подлежит логико пси подготовленность по конкретному предметному материалу. Долже отвечать следующим условиям:

А – предъявляемы материал в задании, должен характеризовать внутренне завершенную область учебного содержания в конкретном учебном предмете.

Б – это задание должно быть ключевым по отношению к другим заданиям данного предметного раздела. При его выполнении включаются в мышление новые термины и понятия, на основе которых устанавливаются логические связи с прошлым и подлежащим усвоению задания.

В – задание должно быть пригодно для более полного психологического декодирования, в виде систематизированного перечня умственных действий

Г – опосредующие выполнений заданий умственные действия должны находиться в стадии становления и на этой стадии они открыты для логико пси анализа и последующей коррекции

КОРТы являются тестами с психологическим содержанием. Содержание КОРТа определяется особой направленностью теста на контроль умственного развития и оценку его уровня.

Методики КОРТ исследуют умственные действия опосредующие учащимися заданий. Эти действия должны быть выявлены как путем логико пси анализа, так и в ходе специального наблюдения. Все это учитывается при создании теста.

Подготавливая спецификации теста нужно раскрыть критериальное значение исследуемого содержания.

Происходит разбиение задач по существенному основания.

Надо быть уверенным, что в тест войдет репрезентативный материал.

Умственные действия должны пройти проверку, с точки зрения выявления и логического состава. Эта задача решается путем сопоставления подготовленного КОРТа с методикой.

Если анализ логического состава верен и владение совокупностью умственных действий связан с реальным выполнением учебных заданий, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями, будут успешно выполнять и контрольные задания.

Сопоставления КОРТ и контрольных заданий не ограничивается сопоставлением коэф корреляции, т.к. этот коэф не говорит о причинах схождений или расхождений.

Перспективы разработки и применения КОРТа:

Совершенствование уже имеющихся моделей КОРТа

Корты могут выступать и в качестве средства выявления и изучения индивидуальных способов выполнения учебных заданий, связанных с актуализацией опр умственных действий. Обратная связь укажет, какие изменения следует внести в учебный процесс.

КОРТ может выступить как надежное средство исследования самих учебно-образовательных программ.

КОРТы могут служить гуманизации образования, для которого решающее значения имеет своевременная и квалифицированная помощь. Такая помощь может предотвратить временное отставание и не дать перерасти в постоянное отставание.

КОРТ своим содержанием соответствует конкретной ситуации обучения и может служить эффективным средством контроля и оценки результатов обучения и стать неотъемлемым мех обратной связи в системе образования.

VII Общая и дифференциальная психометрика

28. Критерии оценки качества тестовых процедур.

29. Понятие об адаптации и реадаптации психодиагностических методик.

30. Понятия надежности, валидности и репрезентативности.

Валидность теста.

Тест является валидным, если он измеряет то, для измерения чего он предназначен.

1.                 Очевидная валидность. Описывает представления о тесте, сложившиеся у испытуемого. Тест должен восприниматься испытуемым как серьезный способ познания его личности.

2.                 Конкурентная валидность оценивается по корреляции разработанного теста по сравнению с другими, валидность которых в отношении измеряемого параметра установлена.

3.                 Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторыми критериями, характеризующими измеряемое свойство, но в более позднее время.

4.                 Инкриментная валидность имеет ограниченное применение и относится к тем случаям, когда один тест может иметь сниженную корреляцию с критерием, но не перекрывается другими тестами из этой же батареи (например, проведение профотбора при помощи психологических тестов).

5.                 Дифференциальная валидность. На примере тестов интересов (обычно коррелирует с академической успеваемостью).

6.                 Содержательная валидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. На практике, для изучения СВ подбираются эксперименты, которые указывают на то, какая область поведения наиболее значима. Затем формируются задания теста, которые вновь оцениваются экспертами.

7.                 Конструктная валидность характеризуется полным описанием переменной, для измерения которой предназначен тест. Необходима для ответа на такие вопросы как «Существует ли реально некоторое свойство?» и «Надежно ли измеряет данный тест индивидуальные различия по этому свойству?».

Стандартизация теста

Позволяет сравнить показатели, полученные одним испытуемым с показателями генеральной совокупности или отдельных групп. Стандартизация теста важна в тех случаях, когда осуществляется сравнение показателей обследуемых.

Понятие нормы и нормативных показателей. При формировании выборки стандартизации необходимо учитывать ее объем и репрезентативность. Для простого уменьшения стандартной погрешности будет достаточной выборка из 500 испытуемых, хотя репрезентативность выборки не зависит от ее объема.

В ряде случаев приходится формировать несколько групп или стратифицировать группу в отношении параметров возраст, пол, социальный статус.

При использовании психологических тестов в научном исследовании нормативные показатели не столь важны и может быть достаточно сырых показателей. Нормы для каждой группы должны быть представлены в средних величинах и показателе стандартного отклонения.