Семинарское занятие № 5 по дисциплине ССОРО
СТАНДАРТИЗАЦИЯ ТЕСТА И
ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.
ЕГЭ И КАЧЕСТВО ОБРАЗОВАНИЯ.
КИМы.
Идея педагогической оценки эффективности и качества образования возникла давно, но в нашей стране не всеми педагогами оценивается положительно. Многие преподаватели, особенно гуманитарных дисциплин, оценку знаний считают невозможным. Но потребность в точных оценках уровня подготовленности учащихся возникает все больше. Поэтому внедрение педагогических тестов в практику контроля знаний рассматривается как перспективное направление.
В основе перехода к идее тестовой оценки лежит условное, но необходимое предположение о непрерывном характере распределения баллов, полученных в результате тестирования репрезентативной выборки испытуемых.
Репрезентативная выборка испытуемых – это испытуемые, представляющие всю часть населения (популяции), о которых идет речь в теме исследования.
ВЫБОРКА – это те люди, которые участвуют в эксперименте как испытуемые.
Критерии выборки:
1.СОДЕРЖАТЕЛЬНЫЙ – эти люди должны подходить ТЕМЕ исследования.
Н-р, бессмысленно проверять степень развития произвольного запоминания у годовалых или 2-хлетних детей или выяснять, в какой мере уровень интеллекта группы московских бомжей влияет на выбор того или иного кандидата в Государственную думу (т.к. они голосовать не имеют права).
2. ЭКВИВАЛЕНТНОСТЬ испытуемых – т.е. похожесть людей по побочным характеристикам, которые могут существенно влиять на зависимые переменные. Результаты, полученные при исследовании экспериментальной выборки, должны распространяться на каждого ее члена.
Процедура подбора эквивалентных групп и эквивалентных испытуемых называется РАНДОМИЗАЦИЕЙ.
3. РЕПРЕЗЕНТАТИВНОСТЬ – испытуемые должны представлять всю часть населения (популяции), о которых идет речь в теме исследования.
Экспериментальная группа испытуемых – испытуемые, которые подвергаются экспериментальному воздействию.
Контрольная группа испытуемых – те испытуемые, которые выполняют аналогичную деятельность, что и в экспериментальной группе, но экспериментальному воздействию не подвергаются. Эта группа существует для сравнения с экспериментальной.
Сдантартизация теста.
Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняются ли одно из принципиальных требований в тестологии - требования стандартизации.
СТАНДАРТИЗАЦИЯ - это комплекс процедур, который позволяет создать для всех испытуемых равные условия.
Стандартизация включает ряд требований по организации тестирования:
ни одному испытуемому не дается никаких преимуществ перед другими;
группа тестируемых выравнена по мотивации;
тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;
содержание теста должно соответствовать требованиям стандартов образования;
все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий);
в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;
заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.
Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя:
назначение и содержание;
показания для применения и ограничения;
состав теста;
информация об апробации (пробном тестировании) теста (цели апробации, объем и состав выборки, основные статистические характеристики);
инструкция по процедуре проведения тестирования;
ключи;
данные о трудности и дискриминативности (различающая способность) заданий;
данные о надежности и валидности (достоверности) теста;
другие статистические материалы;
правила (инструкция) для обработки данных;
устройство шкалы;
правила и особенности интерпретации (разъяснения) результатов.
Дискриминативность (дифференцирующая способность, различающая способность) задания - это способность задания дифференцировать испытуемых по уровню достижений на сильных и слабых.
При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие (упорядочивающие) поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.
Инструкция для проводящего (ведущего) тестирование включает:
условия проведение теста (где, в каком помещении, требования к помещению др.),
время выполнения теста,
материалы для проведения теста (бланки, ручки или карандаши, черновики и др.),
поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать),
необходимая квалификация лиц, которые проводят тестирование и др.
Инструкция для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер.
Инструкция для ведущего приводится, как правило, в руководстве к тесту,
а инструкция для испытуемого - прилагается к пакету тестовых материалов.
Инструкция для испытуемого включает:
правила заполнения бланков ответов;
образцы исправления неверно выполненного задания.
Кроме того, инструкция может содержать правила поведения учащегося и
санкции за нарушение этих правил.
Проверка тестовых работ также регламентирована (упорядочена, подчинена установленным правилам). Проверяющим даются эталоны правильных ответов и сдандартизированные (одинаковые для всех) критерии оценок.
Важным моментом в стандартизации теста является определение НОРМЫ, т.к. адекватность результатов выполнения теста достигается путем сопоставления первичного индивидуального балла с определенными нормами выполнения теста.
Нормы (от лат. правило, образец) - это множество показателей, которые устанавливаются эмпирически (опытным путем), сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых.
Наиболее распространенными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации.
Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста.
При таком сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше или ниже среднего результата выполнения теста.
Разработка и процедуры получения этих показателей составляют процесс стандартизации теста.
Нормы должны отвечать ряду требований.
Итак, норма должна быть:
дифференцированной (различной, разделенной) - ученики, работающие по разным программам, должны сравниваться исходя их разных норм. Н-р, нельзя установить одинаковые нормы выполнения теста по математике для учеников обычной школы и школы с углубленным изучением математики, т.к. норма должна отражать специфику программы подготовки учеников;
соответственной, т.е. отражающей реальный контингент и реальные требования, которые вытекают из современной ситуации в образовании;
репрезентативной (дающей объективное представление о показателях; являющаяся типичным представителем большого количества, совокупности чего-л.) - полученной по результатам тестирования репрезентативной выборки, которая обеспечивает несмещенные нормативные оценки.
Норма - относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Поэтому при стандартизации теста особое внимание обращают на формирование выборки, а именно:
- выборка должна точно отражать категорию (или несколько категорий лиц), для которых предназначен тест, а также
- быть большой и достаточно сбалансированной для обеспечения столь малой погрешности измерений, чтобы ею можно было пренебречь в процессе стандартизации теста.