Методика теоретической экспертизы качества содержания теста

Группы оценки качества содержания теста:

1. критерий качества содержания теста;

2. критерий качества содержания тестовых заданий.

1ая группа критериев:

1. К1Полнота отображения материалов предметов в тесте

1.2К2 Правильность пропорций содержания теста

1.3 К3 Соответствие содержания теста содержанию образовательных стандартов по предмету

1.4К4 Критерий соответствия содержания заданий теста ЗУНам планируемым для проверки спецификации теста

2.1 К5 Предметная чистота заданий теста

2.2 К6 Значимость содержания задания теста

2.3 К7 Определенность предмета измерений

Определение :

количество заданий в тесте

количество дидактических единиц, изучаемых по предмету

Методика вычисления

1. Вычислить процентное содержание заданий по разделам от общего количества заданий. Общее количество заданий можно определить по листу требований, который составляют эксперты либо по тесту, составленному разработчиками.

2. Найти меру отклонений в виде модуля разности между процентным содержанием заданий, выделенных экспертами и аналогичной характеристикой, определенной разработчиками теста.

3. Сложить модули разности в % по всем разделам

4. Найти поделим сумму разности % по всем разделам на число разделов

Соответствие содержания теста содержанию образовательных стандартов по предмету

Нормативные методические материалы по школьным предметам, утверждённые министерством образования РФ.

Методика определения :

Подсчитывается число заданий, соответствующих по содержанию образовательных стандартов;

Полученный результат делиться на число заданий, необходимых, по мнению экспертов для полного охвата содержания стандартов.

К4 Критерий соответствия содержания заданий теста ЗУНам планируемым для проверки спецификации теста.

Спецификации теста – паспорт теста, в котором указываются цели и задачи тестирования, документы, определяющие качество работы, условие применения теста, а также характеристика заданий, время выполнения и т.п.

общее количество заданий в тесте

- Сумма разностей между планируемым спецификацией и реальным количеством задания по каждому знаниевому элементу или дидактической единице.

К5 Предметная чистота заданий теста

Предметная чистота – отсутствие пересечения содержания одной учебной дисциплины с содержанием другой.

количество заданий, которое не удовлетворяет признаку предметной чистоты.

К6 Значимость содержания задания теста.

Указывает на необходимость включения в тест только тех заданий, которые являются наиболее важными для содержания дисциплины, т.е. ключевыми (структурные элементы содержания).

Требования по критерию К6 Оценка заданий по данному критерию проводиться без учёта того, что отдельные элементы содержания могут пересекаться и повторяться.

Шкала оценки заданий по 6ому критерию

Если содержание задания представляется эксперту значимым, то задание оценивается в 2 балла

Если содержание задания представляется эксперту не значимым, то задание оценивается в 1 балл.

Если в содержании задания представлены структурные элементы знания, то задание оценивается в 3 балла.

Если эксперт считает не оправданным включение в тест данного задания, то его значимость оценивается в 0 баллов.

значимость задания.

К7 Определенность предмета измерений – предполагает чёткое выделение 1ого предмета измерения в каждом задании теста.

Неопределенность предмета измерения может возникнуть в 2ух случаях:

1. Из-за попытки проверить в одном задании сразу несколько элементов знаний

2. Из-за двусмысленности формулировки задания, порождающей несколько правильных ответов

число заданий, не удовлетворяющих критерию определенности

Эмпирическая проверка качества тестовых заданий

Статистическая обработка эмпирических данных

Анализ матрицы ответов по эмпирическим данным тестирования.

g/i	1	2	3	4	5	6	7	8	9	10	Yi
1	1	1	1	0	0	0	0	1	0	0	4
2	0	1	1	0	1	0	0	0	0	0	3
3	0	1	1	1	0	0	0	0	0	0	3
4	0	1	1	0	0	0	0	1	0	0	3
5	1	1	1	0	0	1	1	0	0	0	5
	2	5	5	1	1	1	1	2	0	0

i- порядок ученика

g- номер вопроса

Y – сумма баллов, набранных учащимся по результатам тестирования

Педагогические измерения. Шкалирование результатов тестирования. ЕГЭ.

1. Педагогические измерения. Шкалирование результатов тестирования

В отличие от точных наук, в педагогике достаточно сложно проводить прямые измерения исследуемого объекта. В качестве объектов выступают учебные достижения учеников, степень обученности, качество подготовки к предмету. Поэтому используются косвенные измерения, т.е. за счет математической обработки полученных данных.

Виды шкал, используемых для педагогических измерений

1. Шкала наименований (номинальная шкала) – выполняется свойство идентичности, т.е. исследуемый предмет можно отнести к какой либо группе по признаку.

2. Шкала порядка (порядковая) – выполняется свойство идентичности, выполняется свойство транзитивности (позволяет ранжировать объекты в определенном порядке) Пример: школьные оценки. По данной шкале можно измерить только качественные характеристики и математические операции с данными не допускаются. Можно возводить в степень, извлечение корня, умножение на постоянный множитель.

3. Шкала интервалов – выполняется свойство идентичности и транзитивности + метричность (данная шкала предполагает наличие единицы измерения). Количественная характеристика. С данными можно производить все арифметические операции. За исключением одного результат не покажет, во сколько 1 объект больше или меньше другого. Недостаток – нет нулевой отметки.

Чтобы результаты тестирования можно было измерять по шкале интервалов, есть 2 пути:

А) все тестовые задания должны быть выстроены по степени возрастания трудности и оценивались бы по одной шкале, например 1 и 0

Б) Использовать при создании теста теорию параметризации и моделирования IRT, в которой используются весовые коэффициенты для заданий разной степени трудности.

4. Шкала отношений. Выполняются все свойства предыдущих шкал + нулевая отметка. Является количественной – т.е. позволяет производить все арифметические операции и статистические процедуры.

2. Репрезентативная выборка

Выборка испытуемых – группа лиц, подвергающихся тестированию, для дальнейшего анализ.

Выборка характеризуется объемом и репрезентативностью.

Объем выборки – число испытуемых, участвующих в тестировании. Находиться от 120 – 600 единиц.

Репрезентативность – представительность. Качественный показатель выборки, который зависит от следующих факторов (страт):

1. возраст, пол испытуемых;

2. тип реализуемой образовательной программы (базовый, повышенный трудности, коррекционный, профиль обучения: физико-математический, гуманитарный);

3. географическое размещение учебного заведения,;

4. статус школы в системе образования (начальная, основная, профильная);

Объем выборки в зависимости от условий:

1. Для проверки формулировок открытых вопросов – 30-50чел, учитывается профиль обучения и уровень преподавания.

2. Для определения времени на выполнение теста 100-200чел. Учитывается уровень подготовки, профиль обучения, тип учреждения, пол испытуемых

3. Для определения индекса трудности и коэффициента дискриминации 200чел.

4. Для определения надёжности и валидности теста 200-300чел. Должны учтены все факторы.

5. Для того чтобы интерпретация результатов теста была адекватной, то есть для проверки нормативно-ориентированных тестов, необходимо 1000чел.

3. ЕГЭ

Задачи ЕГЭ: расширение доступности высшего образования, снижение психологической нагрузки на выпускников общеобразовательных школ, объективизация и унификация требований общеобразовательной подготовки абитуриентов.

4. Контрольно-измерительные материалы КИМ

- система тестовых заданий, которые упорядочены в рамках определенной стратегии предъявления и обеспечивают информативность, качество подготовки испытуемых.

Содержание КИМов составляется с учетом примерных программ по общеобразовательным предметам, рекомендованных министерством образования РФ, и не может выходить за пределы этих программ.

Структура КИМов: задания 3ёх типов

А) задания с выбором ответа (ТЗ закрытого типа)

Б) с кратким дополняемым ответом в виде числа, формулы, слова

С) со свободным конструированным ответом, который не регламентируется не по длине не по форме представления.

КИМы могут в зависимости от предмета могут содержать от 25-80 вопросов. По качеству КИМы должны содержать задания типа А) больше чем заданий типа Б), а заданий Б) больше, чем заданий С)