Семинарское занятие по курсу ССОРО № 5.
СТАНДАРТИЗАЦИЯ ТЕСТА И
ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.
ЕГЭ И КАЧЕСТВО ОБРАЗОВАНИЯ.
КИМы.
Идея педагогической оценки эффективности и качества образования возникла давно, но в нашей стране не всеми педагогами оценивается положительно. Многие преподаватели, особенно гуманитарных дисциплин, оценку знаний считают невозможным. Но потребность в точных оценках уровня подготовленности учащихся возникает все больше. Поэтому внедрение педагогических тестов в практику контроля знаний рассматривается как перспективное направление.
В основе перехода к идее тестовой оценки лежит условное, но необходимое предположение о непрерывном характере распределения баллов, полученных в результате тестирования репрезентативной выборки испытуемых.
Репрезентативная выборка испытуемых – это испытуемые, представляющие всю часть населения (популяции), о которых идет речь в теме исследования.
ВЫБОРКА – это те люди, которые участвуют в эксперименте как испытуемые.
Критерии выборки:
1.СОДЕРЖАТЕЛЬНЫЙ – эти люди должны подходить ТЕМЕ исследования.
Н-р, бессмысленно проверять степень развития произвольного запоминания у годовалых или 2-хлетних детей или выяснять, в какой мере уровень интеллекта группы московских бомжей влияет на выбор того или иного кандидата в Государственную думу (т.к. они голосовать не имеют права).
2. ЭКВИВАЛЕНТНОСТЬ испытуемых – т.е. похожесть людей по побочным характеристикам, которые могут существенно влиять на зависимые переменные. Результаты, полученные при исследовании экспериментальной выборки, должны распространяться на каждого ее члена.
Процедура подбора эквивалентных групп и эквивалентных испытуемых называется РАНДОМИЗАЦИЕЙ.
3. РЕПРЕЗЕНТАТИВНОСТЬ – испытуемые должны представлять всю часть населения (популяции), о которых идет речь в теме исследования.
Экспериментальная группа испытуемых – испытуемые, которые подвергаются экспериментальному воздействию.
Контрольная группа испытуемых – те испытуемые, которые выполняют аналогичную деятельность, что и в экспериментальной группе, но экспериментальному воздействию не подвергаются. Эта группа существует для сравнения с экспериментальной.
Педагогическая оценка - это процесс установления соответствия между характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда.
При педагогической оценке в качестве характеристик обучаемых обычно выступают знания и умения, освоенные учениками на момент выполнения теста.
Роль единицы оценки играют тестовые задания,
объектом оценки являются сами ученики,
а результатом - шкала баллов тестируемых учеников.
Количество правильно выполненных заданий основания для присвоения испытуемому определенного места на шкале.
Сдантартизация теста.
Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняются ли одно из принципиальных требований в тестологии - требования стандартизации.
СТАНДАРТИЗАЦИЯ - это комплекс процедур, который позволяет создать для всех испытуемых равные условия.
Стандартизация включает ряд требований по организации тестирования:
ни одному испытуемому не дается никаких преимуществ перед другими;
группа тестируемых выравнена по мотивации;
тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;
содержание теста должно соответствовать требованиям стандартов образования;
все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий);
в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;
заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.
Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя:
назначение и содержание;
показания для применения и ограничения;
состав теста;
информация об апробации (пробном тестировании) теста (цели апробации, объем и состав выборки, основные статистические характеристики);
инструкция по процедуре проведения тестирования;
ключи;
данные о трудности и дискриминативности (различающая способность) заданий;
данные о надежности и валидности (достоверности) теста;
другие статистические материалы;
правила (инструкция) для обработки данных;
устройство шкалы;
правила и особенности интерпретации (разъяснения) результатов.
Дискриминативность (дифференцирующая способность, различающая способность) задания - это способность задания дифференцировать испытуемых по уровню достижений на сильных и слабых.
При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие (упорядочивающие) поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.
Инструкция для проводящего (ведущего) тестирование включает:
условия проведение теста (где, в каком помещении, требования к помещению др.),
время выполнения теста,
материалы для проведения теста (бланки, ручки или карандаши, черновики и др.),
поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать),
необходимая квалификация лиц, которые проводят тестирование и др.
Инструкция для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер.
Инструкция для ведущего приводится, как правило, в руководстве к тесту,
а инструкция для испытуемого - прилагается к пакету тестовых материалов.
Инструкция для испытуемого включает:
правила заполнения бланков ответов;
образцы исправления неверно выполненного задания.
Кроме того, инструкция может содержать правила поведения учащегося и
санкции за нарушение этих правил.
Проверка тестовых работ также регламентирована (упорядочена, подчинена установленным правилам). Проверяющим даются эталоны правильных ответов и сдандартизированные (одинаковые для всех) критерии оценок.
Важным моментом в стандартизации теста является определение НОРМЫ, т.к. адекватность результатов выполнения теста достигается путем сопоставления первичного индивидуального балла с определенными нормами выполнения теста.
Нормы (от лат. правило, образец) - это множество показателей, которые устанавливаются эмпирически (опытным путем), сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых.
Наиболее распространенными нормами являются:
среднее арифметическое и
стандартное отклонение по множеству индивидуальных баллов выборки стандартизации.
Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста.
При таком сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше или ниже среднего результата выполнения теста.
Разработка и процедуры получения этих показателей составляют процесс стандартизации теста.
Нормы должны отвечать ряду требований.
Итак, норма должна быть:
дифференцированной (различной, разделенной) - ученики, работающие по разным программам, должны сравниваться исходя их разных норм. Н-р, нельзя установить одинаковые нормы выполнения теста по математике для учеников обычной школы и школы с углубленным изучением математики, т.к. норма должна отражать специфику программы подготовки учеников;
соответственной, т.е. отражающей реальный контингент и реальные требования, которые вытекают из современной ситуации в образовании;
репрезентативной (дающей объективное представление о показателях; являющаяся типичным представителем большого количества, совокупности чего-л.) - полученной по результатам тестирования репрезентативной выборки, которая обеспечивает несмещенные нормативные оценки.
Норма - относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Поэтому при стандартизации теста особое внимание обращают на формирование выборки, а именно:
- выборка должна точно отражать категорию (или несколько категорий лиц), для которых предназначен тест, а также
- быть большой и достаточно сбалансированной для обеспечения столь малой погрешности измерений, чтобы ею можно было пренебречь в процессе стандартизации теста.