Выделение в каждом из компонентов, указанных в п.4, конечного множества элементарных дидактических единиц - утверждений, высказываний или положений, знание и понимание которых (или умение применить) требуется выявить и оценить в процессе тестирования.

Таблица 3. Содержательная структура учебной дисциплины

«Современные средства оценивания результатов обучения»

(фрагмент)

Количество выделенных таким образом элементарных единиц определяет количество тестовых заданий, подлежащих разработке, если полагать, что каждой элементарной дидактической единице должно соответствовать хотя бы одно тестовое задание.

7. Определение количественного состава тестовых заданий, подлежащих разработке в каждом из выделенных разделов и входящих в него тем. Проектируемый количественный состав заданий устанавливается с учетом следующих соображений:

• отдельно взятое теоретическое утверждение (высказывание, положение) как «элементарная дидактическая единица» преобразуется в тестовое задание открытой или закрытой формы;

• высказывание, устанавливающее между элементами знаний отношения подчиненности, включенности, порядка и т.п., преобразуется в тестовое задание «на установление правильного порядка»;

• высказывание, характеризующее отношения взаимозависимости (взаимообусловленности) между элементами знаний, образующих два разнородных множества, преобразуется в тестовое задание «на соответствие».

Перечисленные виды высказываний представляют собой те компоненты знаний, степень усвоения которых должна быть выявлена и оценена тестированием и которые на этом основании могут быть отнесены к объектам диагностики. В результате появляется возможность установить предварительное, т.е. ориентировочное, число заданий, подлежащих разработке в пределах каждой из выделенных тем, что и проиллюстрировано сведениями, приведенными в четвертом столбце таблицы 3. Следует иметь в виду, что указанное здесь количество заданий носит характер примера и не более того.

8. Назначение каждому ТЗ коэффициента трудности (КТ):

• КТ.1 - первый уровень трудности (задания легкие);

• КТ.2 - второй уровень трудности (задания средней трудности);

• КТ.3 - третий уровень трудности (задания трудные).

Проектируемый уровень трудности заданий вносится в содержательную структуру дисциплины (пятый столбец таблицы 3).

Чем подробнее разработана структура, чем качественнее сформирована таблица, тем полноценнее будет БТЗ. Разработанная структура является основной для наполнения БТЗ конкретными тестовыми заданиями (ТЗ).

Разработка тестовых заданий

Разработка программно-дидактических тестовых заданий должна осуществляться согласно алгоритму строго последовательных действий:

1. Выбор конкретного высказывания (элементарной дидактичес­кой единицы), степень усвоения которой подлежит диагностике в процессе тестирования.

2. Постановка цели задания - требуемого результата его выпол­нения. Определяя цель задания, следует ставить вопросы, уточняю­щие содержание требуемого результата тестирования, например: что именно должно выявить задание - знание закона? умение применить его? понимание закона? знание границ его применения? взаимосвязь его с другими законами? положение, местоположение или значимость в иерархии законов данной предметной направленности?

3. Определение (выбор) искомого ответа, смысл и значение которого обеспечивают объективную диагностику усвоения выбранной дидакти­ческой единицы.

4. Выбор формы задания, обеспечивающей получение точного и однозначного результата тестирования - открытой, закрытой и т.д. Форма ПДТЗ выбирается в зависимости от содержания элементарной дидактической единицы и адекватности отображения этого содержания одной из четырех стандартных форм тестового задания.

5. Конструирование ПДТЗ, удовлетворяющего требованиям, предъявляемым к заданиям и обеспечивающим создание логической и синтаксической конструкции, объединяющей в единое целое инструк­цию, условие и искомое. Конструкция знаковой системы выражает­ся в текстовой, графической, математической и т.п. формах.

6. Конструирование образцового результата (эталона ответа) во всех возможных вариантах его выражения и фиксации тестируемым при выполнении задания.

7. Авторская экспертиза формы и содержания задания:

• проверка и уточнение смысла и значения использованных понятий, фраз, оборотов, знаков, символов;

• проверка синтаксической (грамматической) правильности;

• уточнение уровня (меры) трудности;

• внесение необходимых корректив;

• оценка качества разработанного ПДТЗ на соответствие установленным требованиям.

Экспертиза такого рода обязательна как действия самоконтроля и самооценки, устраняющие неизбежные, часто непроизвольные ошибки разработчика тестовых материалов.

8. Присвоение заданию идентификационного номера в форме циф­рового кода, учитывающего принадлежность разработанного ПДТЗ соответствующей структуре БТЗ и порядковый номер задания, на­пример, 02.01.01, где 02 - код раздела или дидактической единицы согласно ГОС ВПО, 01 - код темы и 01 - порядковый номер задания.

9. Присвоение заданию проектного уровня трудности - коэффи­циента трудности (КТ) соответствующего порядка.

Экспертиза тестовых материалов

Экспертиза БТЗ является важным этапом, ориентированным на повышение его качества, как научно обоснованного измерительного инструментария. Экспертиза, проводимая недостаточно качественно, а уж тем более ее отсутствие, приводит к различным диагностическим проблемам, устранение которых может оказаться весьма затруднительным.

Выделяют следующие уровни экспертизы:

1. Авторская экспертиза, или самоэкспертиза, проходит в процессе разработки банка тестовых заданий и составления отдельных ПДТЗ. Она выступает как действия по самоконтролю и самооценке, устраняющие неизбежные, часто непроизвольные ошибки разработчика тестовых материалов.

2. Внутренняя экспертиза проводится по всему БТЗ внутри образовательного учреждения. Желательно, чтобы данный вид экспертизы проводился сотрудниками факультетов и кафедр, не принимавшими участия в непосредственной работе над составлением БТЗ, но являющимися специалистами в содержательной области дисциплины.

3. Внешняя экспертиза организуется ведущими специалистами в данной области знаний, имеющими права на проведение таких процедур, с возможным привлечением необходимых технических и программных средств.

4. Сертификация БТЗ проводится специальным органом сертификации и в обязательном порядке сопровождается всесторонней экспертизой.

В настоящих методических рекомендациях более подробно рассмотрены вопросы, связанные с авторской экспертизой, предполагающей аналитическую работу, которая реализуется по двум направлениям: первое направление включает в себя анализ каждого ПДТЗ; второе направление - анализ всего БТЗ.

Экспертиза пдтз

В процессе авторской экспертизы по первому направлению разработчиком выполняются необходимые корректировки и анализируются следующие характеристики ПДТЗ:

1. Компактность формулировки ТЗ и вариантов ответов.

2. Свернутость ТЗ.

3. Логичность (формулировка ТЗ в виде суждения).

4. Корректность (отсутствие лишних слов в формулировке ТЗ).

5. Достаточность (необходимое количество вариантов ответов на ТЗ).

6. Содержательность (соответствие ТЗ содержанию ГОС или учебной программе).

7. 3начимость (уровень значимости содержания ТЗ).

8. Ясность смысла тестовой ситуации.

9. Время вывода ответа на ТЗ.

10. Ясность смысла тестовой ситуации.

При осуществлении внутренней и внешней экспертизы ПДТЗ экспертом анализируется каждое задание и заполняется таблица характеристик тестовых заданий, включенная в соответствующий протокол (таблицы 4-5).

Таблица 4. Протокол экспертизы тестовых материалов

1. Данные об эксперте

   Фамилия И.О.	Квалификация (номера удостоверений или дипломов)			Должность, место работы
   	Степень	Звания	В области тестологии

2. Юридический адрес: _______________________________________

3. Телефон (факс):____________________________________________

4. Электронная почта: ________________________________________

5. Название информационной карты тестовых материалов ИКПДТМ_

Таблица 5. Таблица характеристик тестовых заданий

Дата: "__"________200___ (Подпись эксперта) ФИО эксперта

Значения столбцов таблицы следующее:

1. Уникальный идентификатор тестового задания (№ ПДТЗ). Он необходим для того, чтобы можно было точно выделить и отличить конкретное тестовое задание из всего массива БТЗ. В таблицу вносится нумерация, представленная авторами БТЗ.

2. Код принадлежности тестового задания к дидактической единице (Код ДЕ) - разделу спецификации БТЗ.

3. Соответствие ТЗ содержанию ГОС или учебной программе (Соотв. ГОС). В таблицу выставляется оценка:

0. - не соответствует;

1. - слабо соответствует;

2. - полностью соответствует.

4. Уровень значимости содержания ПДТЗ (Ур. Знач.). В таблицу записывается оценка:

0. - сомнительный;

1. - приемлемый (допустимый);

2. - важный;

3. - самый важный (существенный).

5. Выполнение требований к составлению ПДТЗ (Вып. Треб.). В таблицу выставляется оценка:

0. - не соответствует;

1. - слабо соответствует;

2. - соответствует.

6. Максимально-допустимое время предъявления задания на экране дисплея, в минутах (не более 2 минут).

7. Форма ПДТЗ. В таблицу вносится число, приписанное к форме ПДТЗ:

1. - открытая;

2. - закрытая;

3. - на упорядочение;

4. - на соответствие.

8. Количество концептов (логических шагов или интеллектуальных действий), необходимых для решения ПДТЗ. Если задание имеет несколько вариантов решения, традиционные и нетрадиционные подходы к решению, то при внесении в таблицу количества концептов следует остановиться на наиболее стандартном варианте решения, опирающемся на основные (фундаментальные) законы или понятия, имеющиеся в ГОС. Даже в самом сложном тестовом задании количество концептов не должно превышать трех.

9. Количество дистракторов (вариантов ответа) в ПДТЗ. Для закрытой формы и на упорядочивание указывается количество вариантов ответа в задании. Для заданий на соответствие отмечается количество пар и количество вариантов ответов, оставшихся без пары. Для заданий открытой формы указывается количество возможных правильных ответов, определенных автором, либо вообще не отмечается данный показатель.

10. Глубина иерархии в спецификации теста (к какому узлу спецификации данное задание относится):

1. - глава;

2. - раздел;

3. - подраздел;

4. - тема или глубже (понятие).

11. Форма мышления (суждения) определяет уровень владения проверяемым знанием:

1. - знание знакомства (опознание);

2. - знание копии (воспроизведение);

3. - знания умения (применения).

12. Мера трудности, качественная оценка (МТ, кач.), представляет собой субъективный показатель, как и само понятие «трудность». Для объективизации оценки можно пользоваться подходами к определению нормы трудности. Соответственно, в таблицу выставляется оценка, представленная далее в пункте «Норма трудности ПДТЗ»:

1. - легкое;

2. - средней трудности;

3. - трудное.

13. Однозначность ПДТЗ предполагает исключение всякого разночтения в формулировке как самого задания, так и ответов. В таблицу записывается оценка:

0 - не однозначно;

1. - слабо однозначно;

2. - однозначно.

14. Краткость представления тестовой ситуации:

0. - очень длинно;

1. - кратко;

2. - предельно кратко.

15. Свернутость ПДТЗ предполагает такую формулировку задания, которую тестируемый может охватить одним взглядом. Предпочтение отдается рисункам, которые в себе содержат необходимую информацию и исключают специальную формулировку задачи. Этот показатель связан с ограничением времени, отведенным на организацию тестирования, когда испытуемый не имеет возможности долго вчитываться в текст. В таблицу выставляется оценка:

0. - низкая;

1. - средняя;

2. - высокая.

16. Ясность смысла тестовой ситуации:

0. - не ясно;

1. - ясно.

17. Доля минимально подготовленных «троечников», которые смогут правильно выполнить ПДТЗ (в процентах) ставится экспертом «на глазок», исходя из собственного опыта преподавания данной дисциплины. Этот показатель дублируется проведением пробных тестирований в испытательных лабораториях.

18. Доля минимально подготовленных «отличников», которые смогут правильно выполнить ПДТЗ (в процентах). Характеристика данного показателя аналогична предыдущему.

По неоднозначным заданиям эксперт может высказать особое мнение в примечании к таблице.

Конечно, при проведении внутренней предварительной экспертизы ПДТЗ может быть уменьшено количество параметров, по которым проводится анализ. Однако при проведении внешней экспертизы, особенно при сертификации БТЗ, по всем перечисленным параметрам эксперт высказывает свое мнение.

Экспертиза бтз

При данном виде экспертизы анализируется весь БТЗ на предмет содержательной валидности (валидизация), т.е. определяется степень соответствия структуры и содержания банка тестовых заданий Госстандарту специальности. Положительное заключение делается, если все дидактические единицы ГОС представлены в структуре БТЗ.

В качестве самостоятельных показателей оценки БТЗ выступают:

• соответствие БТЗ требованиям ГОС ВПО или рабочей программы, если БТЗ разработан по дисциплине, отсутствующей в ГОС ВПО;

• полнота охвата всех дидактических единиц ГОС ВПО (содержательная валидность БТЗ);

• достаточность ТЗ на каждый уровень БТЗ.

Валидность теста - характеристика теста, показывающая, в какой мере тест измеряет именно то качество, для измерения которого он создан. Чем выше валидность теста, тем более обосновано использование результатов тестирования для выводов и предсказаний. Данная характеристика, прежде всего, относится к тестам, но может применяться и к банкам тестовых заданий, на основе которых может быть составлена целая совокупность тестов.

Валидизация - исследование и анализ теста с целью определения степени измерения качества, выбранного авторами-разработчиками. Окончательную валидизацию проводит специальный уполномоченный орган по экспертизе тестовых материалов с привлечением специалистов-тестологов и независимых специалистов-экспертов по различным предметным областям. Предварительную валидизацию необходимо проводить авторам-разработчикам БТЗ.

По результатам внешней экспертизы БТЗ оформляются соответствующий протокол. Эксперт для составления заключения о содержательной валидности анализирует следующие параметры БТЗ:

• какова процедура отбора ПДТЗ, обеспечивает ли она включение нужного материала и возможность судить по выполнению заданий об уровне знаний испытуемого в данной области и овладении им специфическими для данной области навыками;

• достаточно ли ясно указано, владение какими именно знаниями или навыками выявляет БТЗ;

• все ли основные элементы содержания данной дисциплины представлены заданиями в БТЗ;

• достаточно ли равномерно для каждой дидактической единицы распределены задания по формам ПДТЗ, количеству, трудности;

• не включены ли задания, относящиеся к темам, которые не изучались.

Эксперт выставляет оценку содержательной валидности тecтa в диапазоне от 0 до 1. Единица выставляется, если БТЗ полностью валиден по содержательности. БТЗ считается содержательно-валидным, если значение оценки содержательной валидности составляет больше 0,8. Если эксперт оценивает содержательную валидность БТЗ меньше 1, то должен высказать замечания по содержательной валидности в «Лист замечаний» экспертизы.

Результаты экспертизы БТЗ оформляются в виде двух документов: «Протокол экспертизы валидности БТЗ» и «Лист замечаний по валидности БТЗ» (приложения 1-2).

По завершению авторской экспертизы БТЗ предоставляется разработчиком в Центр мониторинга качества образования филиала для организации внутренней экспертизы и подготовки тестовых материалов к сертификации.

Проведение пробного тестирования

Один из обязательных этапов при создании банка тестовых заданий - проведение апробации теста (пробное тестирование, предварительное тестирование). Пробное тестирование преследует несколько целей:

1. Выявить задания, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.).

2. Определить статистические характеристики тестовых заданий и теста в целом.

Для пробного тестирования готовятся следующие инструкции:

• для учащихся (как выполнять тест);

• для проводящих тестирование (наблюдателей);

• по апробации (какие эмпирические данные необходимо собрать).

Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования.

Математико-статистическая обработка эмпирических данных тестирования. Интерпретация результатов обработки

После сбора эмпирических данных осуществляется математико-статистическая обработка, которая проводится, как правило, с помощью специального программного обеспечения. Несмотря на кажущуюся сложность статистической обработки результатов тестирования, частично эти данные можно получить при первичном сборе материалов или пробном тестировании, так как некоторые критерии заложены в программе, предлагаемой АСТ-центром.

Этап математико-статистической обработки можно разбить на несколько шагов.

Первый шаг

Производится формирование матрицы тестовых результатов, в которой количественные данные представляются в систематизированной и сжатой форме, удобной для дальнейшей обработки и интерпретации. Формирование матрицы начинается с выбора правила для оценки ответов учеников на задания теста. Чаще всего результаты ответов оцениваются дихотомически:

где - результат выполнения i-ым испытуемым j-ого задания теста.

После выбора оценочного правила эмпирические данные сводятся в матрицу. Строки матрицы соответствуют ответам учеников на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.

Для наглядности выбрана матрица, в которой приведены результаты ответов 12 учеников на 10 заданий теста (таблица 6).

Таблица 6. Матрица результатов тестирования

Второй шаг

Из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц. В данном примере таких столбцов нет, а строк только две, последние в матрице тестовых результатов. Одна из них – нулевая, соответствует результатам одиннадцатого испытуемого, который не смог выполнить правильно ни одного задания в тесте. Тест непригоден для оценки знаний этого ученика. Для выявления его уровня знаний тест необходимо облегчить, добавив несколько очень легких заданий, которые, скорее всего, выполнит правильно большинство остальных испытуемых группы.

По другой причине тест непригоден для оценки знаний двенадцатого ученика, который выполнил правильно все без исключения задания теста. Причина – излишняя легкость, не позволяющая выявить истинный уровень подготовки двенадцатого ученика. Возможно, он знает еще больше и в состоянии выполнить по контролируемым разделам содержания гораздо более трудные задания, не включенные в тест.

Аналогично из таблицы тестовых результатов удаляют столбцы, содержащие только 1 или только 0, т.е. соответствующие тем заданиям, которые выполнили все или не выполнил никто (таблица 7).

Таблица 7. Матрица результатов после удаления строк

Если тест сделан хорошо, то достаточной точностью обладают примерно 70% результатов, находящихся в центре распределения, а примерно 5% самым слабым и 5% самым сильным вообще нельзя доверять, так как они отражают истинный уровень знаний учеников с очень большой ошибкой измерения. Именно поэтому профессионально организованные тестовые службы при обработке отбрасывают не менее 3% или 5% результатов на концах распределения. Это не связано с недостатками тестовых методов. Ошибка измерения существует не только в тестовых методах, но всегда и везде.

Третий шаг

Этот шаг связан с подсчетом индивидуальных баллов испытуемых и количеством их правильных ответов на каждое задание теста. Индивидуальный балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Например, четвертый испытуемый выполнил правильно девять заданий, поэтому его индивидуальный балл =9. Для удобства полученные индивидуальные баллы приводятся в последнем столбце таблицы 8.

Число правильных ответов на задания также получается суммированием единиц, но уже расположенных по столбцам и помещается в матрицу результатов, в последнюю строку под номером соответствующего задания теста.

Таблица 8. Матрица результатов с индивидуальными баллами испытуемых и количеством правильных ответов на задания теста

Например, в последней строке первого столбца стоят 9 единиц – значит, число испытуемых, правильно ответивших на первое задание, равно 9.

Четвёртый шаг

На четвёртом шаге осуществляется упорядочение матрицы результатов тестирования. Для этого производят перестановку столбцов, располагая числа Y в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала испытуемому с минимальным индивидуальным баллом. Значения располагают сверху вниз в порядке возрастания. Упорядоченная матрица данных тестирования приведена ниже (таблица 9).

Таблица 9. Упорядоченная матрица результатов тестирования

Пятый шаг

Производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить в виде полигона или гистограммы.

Для построения кривых необходимо упорядочить результаты эксперимента (таблица 10).

Таблица 10. Несгруппированный ряд

Список учеников с полученными тестовыми баллами можно сократить, классифицируя оценки по распределению частот, как, например, в таблице 11.

Таблица 11. Частотное распределение баллов

Для большой группы, в 100 и более учеников, используют сгруппированное частотное распределение (таблица 12).

Таблица 12. Сгруппированное частотное распределение баллов

Полигон частот

По ряду частотного распределения можно осуществить графическое представление результатов тестирования в виде полигона частот, построенного для данных таблицы 6 на рисунке 9.

Рисунок 9. Полигон частот

Д ля построения полигона частот по горизонтальной оси откладываются тестовые баллы, а по вертикальной оси – частота появления балла у тестируемой выборки учеников.

Гистограмма

Гистограмма представляет собой последовательность столбцов, каждый из которых опирается на единичный интервал, а высота его пропорциональна частоте наблюдаемых баллов. Для рассматриваемого примера таблицы 6 гистограмма приведена на рисунке 10.

Рисунок 10. Гистограмма

Для интерпретации распределения результатов предпочтение отдается гистограмме, поскольку это наиболее подходящее для визуального восприятия представление, если изображается не более одного распределения.

Гистограмма показывает распределение тестовых баллов и позволяет показать соотношение размеров различных групп тестируемых, получивших низкие, средние и высокие баллы. При этом по оси абсцисс откладывается тестовый балл (или процент выполнения заданий теста при большом количестве заданий), высота столбцов соответствует частоте этого балла (или проценту испытуемых, имеющих результат в данном интервале, при большом количестве испытуемых).

Шестой шаг

На шестом шаге оцениваются меры центральной тенденции совокупности результатов, полученные при выполнении теста. Меры центральной тенденции предназначены для выявления «центрального положения», вокруг которого в основном группируется множество значений рассматриваемого распределения данных.

Мода

Мода – это такое значение, которое наиболее часто встречается среди результатов выполнения теста. Например, для данного распределения модой является балл 4, потому что он встречается чаще любого другого значения балла. Не всякое распределение имеет единственную моду. Распределение может быть бимодальным (иметь 2 моды); бывают такие распределения, в которых все значения встречаются одинаково часто, т.е. распределение не имеет моды.

Интерпретация мер центральной тенденции

Грамотно составленный тест обеспечивает нормальное распределение индивидуальных баллов учеников, когда среднее значение баллов находится в центре распределения, а остальные значения концентрируются вокруг среднего по нормальному закону, т.е. примерно 70% значений в центре, а остальные сходят «на нет» к краям распределения (рисунок 11).

68%

16% 16%

Рисунок 11. Нормальная кривая распределения индивидуальных баллов

Если тест обеспечивает близкое к нормальному распределению баллов, то это означает, что на его основе можно определить устойчивое среднее значение баллов, которое принимается в качестве одной из репрезентативных норм выполнения теста. Нормальное распределение унимодально и симметрично, т.е. половина результатов, расположенных ниже моды, в точности совпадает с другой половиной, расположенной выше, а мода равна среднему значению. На самом деле, на практике никогда не была и не будет получена совокупность данных, распределенных точно по нормальному закону.

Седьмой шаг

Оцениваются меры симметрии и островершинности кривых распределения.

Асимметрия

Степень отклонения распределения наблюдаемых частот выборки от симметричного распределения, характерного для нормальной кривой, оценивается с помощью асимметрии. Наличие асимметрии легко установить визуально, анализируя полигон частот или гистограмму. Более тщательный анализ можно провести с помощью обобщённых статистических характеристик, предназначенных для оценки величины асимметрии в распределении.

Формула для подсчёта асимметрии имеет вид:

.

где все обозначения прежние, а именно - индивидуальный балл i-ого ученика, - среднее значение баллов по тестируемой группе, - куб стандартного отклонения, N – число учеников.

После подстановки данных из рассматриваемого примера величина асимметрии будет равна

Интерпретация асимметрии

Вклад положительных значений кубов разностей будет больше кубов отрицательных значений, но ненамного, поэтому величина асимметрии получилась положительной и небольшой. Таким образом, асимметрия распределения положительна, если основная часть значений индивидуальных баллов лежит справа от среднего значения, что обычно характерно для излишне лёгких тестов.

Асимметрия распределения баллов отрицательна, если большинство учеников получили оценки ниже среднего балла. Эффект отрицательной асимметрии встречается в излишне трудных тестах, не сбалансированных правильно по трудности при отборе заданий в тест.

В хорошо сбалансированном по трудности тесте, как уже отмечалось ранее, распределение баллов имеет вид нормальной кривой. Для нормального распределения характерна нулевая асимметрия, что вполне естественно, т.к. при полной симметрии каждое значение балла, меньшее , уравновешивается другим симметричным, большим чем .

Восьмой шаг

Оценивается трудность тестовых заданий.

Трудность задания в классической теории тестов определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т.е. трудность задания - это доля учащихся, которые справились с заданием.

Т рудность задания вычисляется по формуле

где p_j - доля правильных ответов на j-ое задание; Y_j - количество испытуемых, выполнивших j-ое задание верно, N - число испытуемых в группе, j - номер задания. Или в процентах, P_j – трудность j–ого задания в процентах:

Из формулы видно, что чем выше показатель трудности, тем задание легче, и соответственно, чем меньше показатель трудности задания, тем задание сложнее. Например, если p = 30 %, то это значит, что только 30% испытуемых справились с этим заданием, а если p = 70 %, то 70 % справилось с заданием, и получается, что первое задание сложнее, чем второе.

Иногда вводится доля неправильных ответов - q, которая определяется по формуле

q = 1 - p

Но по сложившейся традиции в рамках классической теории тестов трудность задания определяется как доля правильных ответов (p).

Показатель трудности очень важен для определения характеристики тестового задания и помогает проранжировать задания, входящие в тест по степени сложности. Благодаря этому можно определить место задания в тесте. В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением . Есть несколько самых легких с . Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60-70 % в критериально-ориентированном тесте и 40-60 % в нормативно-ориентированном.

В рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p = q = 0.5, которые обеспечивают максимальную дисперсию теста.

Дисперсия .

Это произведение достигает максимального значения (0,5 х 0,5 = 0,25) при р = 0,5.

Девятый шаг

Вычисляется индекс дискриминативности.

Дискриминативность (дифференцирующая способность, различающая способность) – это способность задания дифференцировать испытуемых по уровню достижений на слабых и сильных.

Дифференцирующую способность тестовых заданий определяют на основании расчета индекса дискриминативности (ИД). Индекс дискриминативности показывает, насколько лучше отвечали на данное задание сильные учащиеся по сравнению со слабыми.

Для расчета ИД выделяют крайние группы испытуемых: 27-30% неуспевающих учеников и 27-30% лучших учеников по результату выполнения теста (таблица 13).

Таблица 13. Упорядоченная матрица результатов тестирования с выделенными группами

Индекс дискриминативности определяют по формуле:

где

(p₁)_j - доля правильных ответов в сильной группе

(p₀)_j - доля правильных ответов в слабой группе

Пример.

Индекс дискриминативности ТЗ №1 и ТЗ №10:

r_дис(ТЗ№1) = 3/3 – 2/3 = 0.34

r_дис(ТЗ№10) = 1/3 – 2/3 = -0.33

Интерпретация индекса дискриминативности

Если r_дис > 0 (больше 0,3 считается удовлетворительным), а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом. Если r_дис = 0, то это значит, что слабые и сильные испытуемые выполняют задание одинаково. r_дис < 0 в тех случаях, когда слабые учащиеся выполняют задание лучше, чем сильные. Тестовые задания с r_дис = 0 необходимо удалять из теста.

Десятый шаг

Определяется надежность теста.

Надежность - это характеристика теста, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов.

Тест является надежным, если при повторном тестировании (при условии, что подготовка испытуемого не изменилась) он дает примерно такие же результаты.

В практике педагогических измерений часто используется способ оценки надежности с применением формулы Кьюдера-Ричардсона (KR20). Она может применяться только в том случае, когда выполнение задания оценивается дихотомически.

Коэффициент надежности (K) вычисляется по формуле:

,

где

m – число заданий в тесте;

pj – доля правильных ответов на j-ое задание теста;

qj – доля неверных ответов на j-ое задание теста;

- дисперсия индивидуальных баллов;

N – число студентов;

Xi – индивидуальный балл i-ого студента (количество заданий, на которые студент ответил правильно).

Надежность теста считается хорошей, когда данный коэффициент колеблется в пределах 0,8 < K < 1.

Одиннадцатый шаг

Оценивается валидность теста.

Валидность - еще одна важная характеристика теста, определяющая его качество. Валидность (от англ. Validity - значимость, обоснованность, пригодность) - «это характеристика способности теста служить поставленной цели измерения», т.е. способность теста измерять то, для чего он предназначен.

Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (Анастази А., Майоров А.Н.).

1) Содержательная валидность (content validity).

Когда идет речь об этом виде валидности, то имеется в виду соответствие теста как измерительного инструмента той области содержания знания и умения, которую проверяют данным тестом. В зависимости от выбранного подхода при создании теста будут предъявляться различные требования к содержательной валидности. Так, для критериально-ориентированных тестов одним из требований содержательной валидности станет полнота отображения, а в некоторых случаях детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самое важное, свидетельствующее о знании дисциплины.

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.

2. Критериальная валидность.

Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).

Практически критериальную валидность определяют как корреляцию результатов тестирования и некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность в зависимости от выбранного критерия может быть текущей (внешний критерий - текущие оценки) или прогностической (критерий - некоторый будущий результат).

Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя. В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов.

Формула:

s_x² – дисперсия индивидуальных баллов; N – число студентов; - отклонение тестового балла i-го студента от среднего балла по тесту; - отклонение экспертного балла i-го студента от среднего арифметического экспертных оценок.

Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.

Двенадцатый шаг

Шкалирование результатов тестирования.

Шкалирование – это операция упорядочения исходных эмпирических дан­ных путем перевода их в шкальные.

Процесс шкалирования включает два этапа:

первый - сбор эмпирических данных (производится тестирующей оболочкой АСТ-программы в режиме администратора);

второй - обработка и анализ, по результатам которого строится числовая система, представляющая собой шкалу.

На практике часто применяется Z-шкала. Этот наиболее простой метод выявления места результата i-го ученика по сравнению с результатами других, основан на подсчете отклонения балла от среднего значения баллов по группе испытуемых.

Шкалированный результат i-го ученика находят по формуле (результаты вычислений представлены в таблице 14):

где - сырой балл i-го испытуемого; - среднее значение индивидуальных баллов N испытуемых группы; - стандартное отклонение по множеству сырых баллов.

Таблица 14. Расчет Z-шкалы по результатам тестирования

Соотношение между значениями стандартных Z-оценок и баллами по различным порядковым шкалам указаны в таблице 15.

Таблица 15. Соотношение между Z-шкалой и порядковой (ранговой) шкалой

Таким образом, для испытуемых из таблицы 14 имеем соответствие значениям Zi оценок по четырехбалльной шкале (таблица 16).

Таблица 16. Соответствие между испытуемыми и их баллами по четырехбалльной шкале по результатам расчета Z-шкалы

Пример расчета индекса дискриминативности, а также оценок по четырехбалльной шкале представлен в приложении 8.

Требования к оформлению тестовых материалов

Содержание предыдущих разделов обращено к разработчику программно-дидактических тестовых материалов - преподавателю (группе преподавателей), который (которая) выполняет эту работу. Конечный продукт данной деятельности - банк тестовых заданий должен предоставляться разработчиком в Центр мониторинга качества образования Куйбышевского филиала ГОУ ВПО «НГПУ» в электронном виде в форматах *.ast (создается при помощи программы «Конструктор тестов адаптивной среды тестирования) и Word. Файл формата Word должен содержать необходимый комплект документов.

Пример оформления комплекта сопроводительных документов бтз (формат Word) по дисциплине «Современные средства оценивания результатов обучения»

1. Пояснительная записка

Банк тестовых заданий (БТЗ) «032900_ССОРО» содержит диагностические материалы по дисциплине «Современные средства оценивания результатов обучения» для специальности 050301.65 - «Русский язык и литература» с квалификацией – учитель русского языка и литературы.

«Дерево» БТЗ в первом уровне деления отражает все дидактические единицы стандарта, второй уровень деления раскрывает их с авторских позиций.

Основное содержание БТЗ направлено на возможность подбора диагностических тестов, позволяющих осуществлять текущий, итоговый контроль, проверять остаточные знания студентов на предмет соответствия государственному образовательному стандарту высшего профессионального образования соответствующих специальностей. Содержание БТЗ в основном позволяет проверить уровень знаний по содержанию обучения. БТЗ не претендует на проверку требований к подготовке специалиста, представленных в ГОС ВПО (п. 7), он проверяет освоение минимума содержания обучения (п. 4 ГОС ВПО).

Структура диагностических материалов придерживается идеологии АСТ-центра, задания внесены в конструктор тестов.

Сведения об авторе: Марченко Сергей Васильевич, ст. преподаватель кафедры педагогики КФ НГПУ.

2. Выписка из Профессиональной образовательной программы факультета

Наименование дисциплины по учебному плану «Современные средства оценивания результатов обучения».

Код дисциплины по учебному плану – ОПД. Ф. 8

Объем дисциплины и виды учебной работы

Выписка из гос впо специальности 032900 - «Русский язык и литература»

Степень (квалификация) – учитель русского языка и литературы

Утвержден « 31» января 2005 г. Номер гос. регистрации: № 707

Обязательный минимум содержания дисциплины «Современные средства оценивания результатов обучения»

3. Спецификация банка тестовых заданий (фрагмент)

Уникальный идентификатор НТЗ: 849 423 916

Наименование НТЗ: Современные средства оценивания результата обучения ОПД.Ф.08 032200

Авторский коллектив НТЗ: ст. преп. кафедры педагогики Куйбышевскго филиала ГОУ ВПО «НГПУ» С.В. Марченко

Дата создания НТЗ: 20.01.09

Дата последней модификации НТЗ: 30.03.09

Комментарий: проверка остаточных знаний, текущий и итоговый контроль студентов специальности 050301.65 - «Русский язык и литература» по дисциплине «Современные средства оценивания результата обучения» (ОПД.Ф.08)

4. Содержание и структура тестовых материалов Тематическая структура (фрагмент) Тематическая структура

1. Понятие о качестве образования.

1.01. Качество образования и педагогический контроль.

1.02. Виды, формы и организация контроля качества обучения.

1.03. Функции контроля.

1.04. Принципы контроля.

2. Оценка как элемент управления качеством. Функции оценки.

2.01. Оценка, диагностика и проверка в системе образования.

2.02. Характеристика процесса оценивания.

2.03. Функции оценки.

3. Традиционные и современные средства оценки. Рейтинг; мониторинг; накопительная оценка ("портфолио").

3.01. Традиционные и современные средства контроля.

3.02. Мониторинг качества образования.

Содержание тестовых материалов

1. Понятие о качестве образования

1.01. Качество образования и педагогический контроль

4. Задание {{ 4 }} тз № 140 (де-1-1-0) (де-1-1-0) (де-1-1-0)

Операция сопоставления, сличения запланированного результата с эталонными требованиями и стандартами:

 диагностика

 проверка

 оценка

 контроль

1.02. Виды, формы и организация контроля качества обучения

7. Задание {{ 7 }} тз № 141 (де-1-2-0) (де-1-2-0) (де-1-2-0)

Соответствие между видами контроля и их характеристиками:

1.03. Функции контроля

12. Задание {{ 12 }} тз № 10 (де-1-3-0) (де-1-3-0) (де-1-3-0)

Соответствие между функциями контроля и их характеристиками:

1.04. Принципы контроля

16. Задание {{ 16 }} ТЗ № 146 (ДЕ-1-4-0) (ДЕ-1-4-0) (ДЕ-1-4-0)

Принцип ... предписывает использование в контроле научно обоснованных средств, проверочных процедур и методов анализа данных.

Правильные варианты ответа: научности;

2. Оценка как элемент управления качеством. Функции оценки

2.01. Оценка, диагностика и проверка в системе образования

18. Задание {{ 18 }} ТЗ № 149 (ДЕ-2-5-0) (ДЕ-2-5-0) (ДЕ-2-5-0)

Суждения о ходе и результатах обучения, содержащие его качественный и количественный анализ:

 оценка

 проверка

 диагностика

 контроль

19. Задание {{ 19 }} ТЗ № 202 (ДЕ-2-5-0) (ДЕ-2-5-0) (ДЕ-2-5-0)

... - процесс установления успехов и трудностей в овладении знаниями, в развитии и в степени достижения целей обучения.

Правильные варианты ответа: проверка;

2.02. Характеристика процесса оценивания

20. Задание {{ 20 }} ТЗ № 7 (ДЕ-2-6-0) (ДЕ-2-6-0) (ДЕ-2-6-0)

Объективная оценка учащемуся может быть выставлена на основании сравнения уровня его подготовленности с ...

 результатами других учащихся

 его потенциальными возможностями

 уровнем прилежания

 требованиями программы или ГОС

2.03. Функции оценки

23. Задание {{ 23 }} ТЗ № 152 (ДЕ-2-7-0) (ДЕ-2-7-0) (ДЕ-2-7-0)

Соответствие между функциями оценки и их характеристиками:

3. Традиционные и современные средства оценки. Рейтинг, мониторинг, накопительная оценка ("портфолио")

3.01. Традиционные и современные средства контроля

24. Задание {{ 24 }} тз № 120 (де-3-8-0) (де-3-8-0)

Накопительная отметка по отдельным дисциплинам или по циклу дисциплин за определенный период обучения:

 кейс-измеритель

 рейтинг

 портфолио

 мониторинг

3.02. Мониторинг качества образования

27. Задание {{ 28 }} тз № 59 (де-3-9-0) (де-3-9-0) (де-3-9-0)

Соответствие между видами мониторинга и их характеристиками:

4. Этапы развития тестирования в России и за рубежом

4.01. Становление контроля и диагностики в образовании (предыстория тестов)

33. Задание {{ 34 }} тз № 155 (де-4-10-0) (де-4-10-0) (де-4-10-0)

В иезуитских школах XVI-XVII веков использовалась ... система оценки.

 трехбалльная

 пятибалльная

 десятибалльная

 шестибалльная

4.02. Этапы развития тестирования за рубежом

35. Задание {{ 36 }} тз № 161 (де-4-11-0) (де-4-11-0) (де-4-11-0)

Батареи Альфа и Бета тестов использовались для ...

 проверки качества почерка

 проверки математических умений

 распределения призывников по родам войск

 проведения вступительных экзаменов

 распределения учеников по школам

4.03. Этапы развития тестирования в России

37. Задание {{ 38 }} тз № 121 (де-4-12-0) (де-4-12-0)

Постановление ВКП(б) "О педологических извращениях в системе Наркомпросов", повлекшее за собой запрет педагогических тестов, вышло в ... году.

 1936

 1938

 1940

 1920

 1918

 1934

Основные понятия теории тестирования

Банк тестовых заданий (БТЗ) - упорядоченное множе­ство сертифицированных программно-дидактических тестовых заданий, позволяющее осуществить адекватную целям изучения учебной дисциплины проверку степени усвоения ее содержания и обеспечивающее возможность формирования программно - дидак­тических тестов различного объема и назначения.

Дидактическая единица (ДЕ) - относительно самостоятель­ная в смысловом отношении часть системы знаний, образующей со­держание учебной дисциплины. К дидактическим единицам относятся, например, раздел, подраз­дел, тема и др. Дидактические единицы различаются внутренним строением, внутренней организацией и объемом входящих в них зна­ний (содержащейся в них информации). При этом, образуя единое целое - учебную дисциплину, они находятся между собой в иерар­хическом соподчинении. Последнее обстоятельство позволяет выде­лить среди них элементарные дидактические единицы - единицы первого уровня сложности, из которых состоят единицы более высо­ких уровней, в частности - темы, разделы. Элементарной дидактической единицей, обеспечивающей возможность преобразовать содержание дисциплины в множество тестовых заданий, целесообразно принять утверждение или, иначе, высказывание - повествователь­ное предложение, имеющее определенный смысл и значение. Ука­занные свойства высказываний позволяют рассматривать их, с од­ной стороны, как элементы системы знаний, усвоение которых сле­дует выявить и оценить, а с другой - как основу заданий, посред­ством которых осуществляются выявление и оценка.

Дистрактор - концепт, близкий по своему смыслу требуе­мому результату - искомому, но не являющийся таковым.

Качество БТЗ (ПДТЗ) - совокупность свойств банка (тесто­вого задания), определяемая его назначением и обеспечивающая получение объективных и достоверных результатов в соответствии с целями тестирования.

Конструирование (разработка) БТЗ - разработка способа представ­ления и упорядочения системы дидактических единиц, адекват­но выражающей содержание учебной дисциплины и подлежащей преобразованию в конечное множество ПДТЗ различных форм и уровней трудности.

Конструирование ПДТЗ - 1) (теоретич.) синтез оптималь­ной знаковой системы, обеспечивающей максимальную ясность и точность передачи информации субъекту тестирования; создание конструкции ПДТЗ, соответствующей его форме и назначению; 2) (технологич.) разработка интерфейса задания в соответствии с дей­ствующими в компьютерных технологиях стандартами и нормами (эргономическими, психологическими, физиологическими и др.).

Конструкция ПДТЗ - 1) материальная знаковая система, предъявляемая субъекту тестирования на материальном носителе (экране монитора, листе бумаги) и обеспечивающая передачу ему информации, адекватной смысловому содержанию задания и спосо­бу его выполнения. 2) (технологич.) интерфейс ПДТЗ (в компьютер­ном тестировании).

Логичность ПДТЗ - соответствие конструкции (структуры и содержания) ПДТЗ, его назначению (функции), системе методоло­гических требований (правил, норм) и условиям применения.

Надежность теста - это степень повторяемости или степень постоянства эмпирических измерений, т.е. результатов тестирования. Надежность характеризует точность теста как измерительного инструмента, устойчивость его к действию помех (состояния испытуемых, их отношения к процедуре тестирования и т.п.). Тест называется надежным, если он является помехоустойчивым и при проведении тестирования в других условиях он дает сходные результаты.

Оценивание (оценка) - операция приписывания объекту (те­стовому заданию, решению задания) определенного качества (свой­ства) или количества (числа), выполняемая по установленному (нор­мированному) правилу с использованием оценочной шкалы.

Педагогический тест – система дифференцированных по уровню трудности заданий определенной формы и содержания, позволяющих эффективно оценить структуру и уровень знаний, умений и навыков обучающихся в конкретной предметной области. Тесты являются объективными, научно обоснованными средствами оценки результатов обучения.

Педагогическое тестирование – совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки и представления результатов его выполнения.

Прагматическая корректность ПДТЗ - соответствие конструкции ПДТЗ как знаковой системы заданному содержанию и уровню подготовки тестируемых, их установке на адекватное воспри­ятие и интерпретацию информации, заключенной в условии задания.

Прагматически корректное ПДТЗ - это задание, все конструк­тивные составляющие которого (состав и форма знаков, способ объединения их в знаковую систему - текст, формулы, схемы и т.д.) вос­принимаются и интерпретируются (должны восприниматься и ин­терпретироваться!) как язык, несущий информацию строго опреде­ленного содержания, смысла, значения и объема.

Программно-дидактический тест (ПДТ) - 1) (в теории) система программно-дидактических тестовых заданий, позволяющая с требуемой верностью и объективностью оценить степень (уровень) фактической обученности субъекта тестирования в дан­ной области знания; 2) (на практике) конечное множество сертифи­цированных программно-дидактических тестовых заданий, предъявляемых индивиду в течение установленного (заданного, ог­раниченного) промежутка времени и в порядке, определяемым ал­горитмом формирования тестовой последовательности, реализован­ным в тестирующей программе.

Программно-дидактическое тестовое задание (ПДТЗ) - 1) задание, предназначенное для выявления и оценки степе­ни усвоения элементарной дидактической единицы и предъявляемое субъекту тестирования в стандартизированной компьютерной форме. 2) неопределенная знаковая система, несущая субъекту тестирования информацию о характере неизвестного (искомого), предпосылках (ус­ловии) его нахождения и способе фиксации найденного решения.

Разработка (проектирование) БТЗ - определение количе­ственного и качественного состава ПДТЗ и способа их упорядочения (структурирования) в систему, обеспечивающей возможность тести­рования заданного количества студентов в соответствии с целями, определяемыми требованиями действующих нормативных докумен­тов – ГОС ВПО.

Разработка (проектирование) ПДТЗ - выбор формы, конст­рукции, содержания и уровня трудности задания в соответствии с его назначением и принадлежностью к выделенной конкретной ди­дактической единице.

Содержательная валидность (БТЗ, ПДТ) - адекват­ность (точность и полнота) отображения банком тестовых заданий (тестом) содержания системы дидактических единиц данной учеб­ной дисциплины или определенной ее части.

Содержательность ПДТЗ - соответствие уровня трудно­сти тестового задания фактическому уровню (степени) обученности, подготовленности тестируемого.

Структура БТЗ - строение банка тестовых заданий, опреде­ляющее принадлежность каждого из ПДТЗ соответствующей дидак­тической единице и уровню трудности.

Тестирование - 1) (в теории) метод выявления и оценки уровня учебных достижений обучающихся, осуществляемый посред­ством стандартизированных тестовых материалов — тестовых за­даний, тестов, банков тестовых заданий; 2) (на практике) техно­логический процесс, реализуемый в форме алгоритмически упоря­доченного взаимодействия индивида с системой сертифицированных тестовых заданий и завершающийся оцениваемым результатом.

Трудность (уровень трудности) ПДТЗ - 1) (в теории) количе­ство мыслительных операций и характер логических связей между ними, характеризующих продолжительность поиска и нахождения верного решения; 2) (на практике) показатель тестового задания, определяемый относительным числом тестируемых, не нашедших верного решения при выполнении задания.

Учебные достижения – это итоговые резуль­таты обучения, которые являются синонимом термина «подготовленность и подготовка». Под учебными достижениями иногда понимают не только подготовленность обучающихся в определенной предмет­ной области, но и показатели сформированности личностных ка­честв.

Форма ПДТЗ - 1) способ материального выражения (представ­ления) тестового задания, характеризующий особенности неизвест­ного и условия его однозначного нахождения и фиксации; 2) знако­вая система, характеризующая положение неизвестного в своей структуре и способ его фиксации.

Шкала - 1) система действительных чисел, связанных друг с другом отношениями порядка и служащая для количественного оце­нивания (выражения, представления) результатов тестирования; 2) система действительных чисел, связанных отношением порядка, предназначенная для отображения (перевода) результатов оценки в нормированные числовые значения.

Приложения Приложение 1 Форма протокола экспертизы валидности бтз

Экспертная комиссия в составе: __________________________________________

Рассмотрела БТЗ ______________________________________________________

(полное название БТЗ)

по дисциплине _________________________________________________________

(полное название дисциплины)

специальности _________________________________________________________

(шифр и название специальности)

Количество ТЗ в БТЗ____________________________________________________

Заявленная цель БТЗ____________________________________________________

Заявленная область использования БТЗ ____________________________________

Субъекты тестирования, на которых рассчитан БТЗ_________________________

В результате экспертизы комиссия постановила:

1.Заявленная цель тестирования соответствует / не соответствует содержанию БТЗ. (нужное подчеркнуть)

2. Область использования и сфера применимости теста соответствует / не соответствует содержанию БТЗ (нужное подчеркнуть).

3. Содержательная валидность теста составляет:_____________ баллов

4. Критериальная валидность теста составляет:_____________ баллов. Критериальная валидность рассчитывалась на основе апробации теста в ___ учреждениях, на ___группах тестируемых, общим количеством____ человек.

5. По общим итогам экспертизы - признать / не признать БТЗ валидным.

6. Выявленные замечания указаны в «Листе замечаний по валидности БТЗ».

Члены экспертной комиссии: (подписи)

Приложение 2 Форма листа замечания по валидности бтз

В результате работы экспертной комиссии были выявлены следующие недостатки:

1.Замечания по заявленной цели тестирования: _______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

2. Замечания по области использования и сфере применимости теста: ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

3. Замечания по содержательной валидности теста (БТЗ): ____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Члены экспертной комиссии: (подписи)

Приложение 3 Рекомендации по назначению нормы трудности

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

   • количество концептов, необходимых для решения ТЗ;

• образ мышления, на который направлено ТЗ;

• форма ТЗ;

• уровень значимости ТЗ;

• глубина расположения ТЗ в спецификации;

• количество дистракторов.

3. Норма трудности ТЗ может оцениваться с учетом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на «опознание» какого-то объекта или на проверку «знания-знакомства», то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях, с которыми знаком испытуемый) или на проверку «знаний воспроизведения копии», то такое ТЗ следует считать ТЗ среднего уровня сложности. К ТЗ такого уровня сложности следует относить высказывания конъюнктивного или дизъюнктивного вида или ТЗ с несколькими концептами по выбору подмножества правильных вариантов из заданного множества дистракторов. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.

9. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку «знаний умения и применения», то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

10. Назначение нормы трудности можно производить с учетом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ - на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

11. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

12. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.

13. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.

Приложение 4 Порядок предоставления тестовых материалов на сертификацию

1. Программно-дидактические тестовые материалы (ПДТМ) предъявляются на сертификацию в орган сертификации (ОС).

2. В ОС предъявляется типовой комплект материалов:

• сопроводительное письмо (в произвольной форме);

• заявка на сертификацию;

• подписанный (оформленный) договор;

• документ об оплате услуг сертификации или его копия;

• информационная карта (ИК ПДТМ);

• спецификация тестовых заданий (ТЗ) ПДТМ на электронном носителе в формате WORD или AST (MKR), составленная в соответствии с «Методическими рекомендациями по оформлению спецификации ТЗ» и «Требованиям к ПДТМ»;

• твердая (печатная) копия спецификации ТЗ ПДТМ, составленная в соответствии с «Методическими рекомендациями по оформлению спецификации ТЗ» и «Требованиям к ПДТМ»;

• акты об эксплуатации ПДТМ, отзывы (при наличии);

• утвержденные учебные программы по дисциплинам, не соответствующим ГОС;

• электронная копия всего комплекта материалов на компакт-диске.

3. Типовой комплект материалов в картонной папке с завязками представляется или пересылается в ОС. После регистрации материалов на сертификацию выдается или высылается по почте (факсу) накладная ОС с указанием предъявленных материалов и планом сертификации.

4. Сертификация ПДТМ осуществляется в течение двух месяцев с момента предъявления материалов на сертификацию. По истечении указанного срока ОС оповещает заявителя о результатах сертификации и выдает (высылает) документ, отражающий результаты этой работы. Сроки сертификации могут быть изменены в соответствии с дополнительным соглашением.

5. Сертификация ПДТМ осуществляется по договору по факту оплаты соответствующих услуг ОС в соответствии с договором. Экземпляр договора и копию платежного поручения следует переслать в ОС.

6. Копию платежного поручения и квитанции за выдачу сертификата следует переслать в ОС.

Приложение 5 Оформление тестовых материалов для предоставления на сертификацию

1. Бланк информационной карты пдтм

Информационная Дата Исходящий №

к

И

1. Общие данные. 1.1.Специальности и направления

1.2. Дисциплина 1.2.1. Соответствие ГОС: Да Нет

Имя файла с учебной программой, для дисциплин, не имеющихся в ГОС:______________

1.3. Авторский коллектив разработчиков

1.4. Цели создания ПДТМ

1.5. Период разработки. Начало «____»________________200__г.

Конец «____»________________200__г.

1.6. Апробация банка тестовых заданий. Начало «____»________________200__г. Конец «____»________________200__г.

Место проведения апробации____________________________________________________________

______________________________________________________________________

1.7. Внешняя экспертиза ПДТМ. Начало «____»________________200__г. Конец «____»________________200__г.

1.7.1 Эксперты

1.7.2. Место проведения внешней экспертизы ________________________________________________________________________

________________________________________________________________________

Утверждено на заседании ______________________________________________________________________

(указать название кафедры, совета или другого органа, утвердившего внешнюю экспертизу ПДТМ)

Протокол заседания №______от «_____» _____________200__г.

2. Бланк для оформления структуры тестовых материалов

2. Требования к оформлению спецификации тестовых заданий из пдтм

приложение к ИКПДТМ №________

от "___"________200__

Для каждого тестового задания Заявителю необходимо указать:

1. Уникальный идентификатор тестового задания (сквозной по всем ПДТМ).

2. Норма трудности (вес задания при подсчете баллов): 1 - легкое ТЗ, 2 - ТЗ средней трудности, 3 - трудное ТЗ.

3. Тематическая принадлежность ТЗ (код, соответствующий дидактической единице из таблицы в п.2 ИКПДТМ).

4. Максимально-допустимое время предъявления задания на экране дисплея в минутах.

5. Механизм оценки заключения на тестовое задание: 1 - дихотомическая оценка, 2 - политологическая.

6. Содержание (формулировка) тестового задания.

7. Дистракторы и правильные заключения (ответы).

Приложение 6 Требования по заполнению информационной карты тестовых материалов для предоставления на сертификацию

1. Поля: № ИК, дата, исходящий номер, инвентарный номер не заполняются заявителем, а заполняются в ОС.

2. В п.1.1 указывается шифр направления в соответствии с Государственным образовательным стандартом (ГОС), название направления или специальности. Например, 654600, "Информатика и вычислительная техника".

3. В п.1.2.1 отмечается, соответствует ли дисциплина требованиям ГОС или нет. В случае, если дисциплина не соответствует требованиям ГОС - она считается авторской дисциплиной и в приложении к заявке должна быть приложена учебная программа этой дисциплины. Здесь же указывается имя файла, где записана эта учебная программа.

4. Для дисциплин, соответствующих ГОС, указывается их точный индекс, наименование и количество часов, например, "СД.06", "Технологии программирования", 100 часов.

5. Для дисциплин, соответствующих ГОС, указывается компонент по ГОС и наименование цикла по ГОС.

6. В п.1.3 указываются все авторы ПДТМ с их квалификацией и координатами.

7. В п.1.4 указываются цели создания ПДТМ. Например, "формирование тестов для оценки качества обучения студентов".

8. В п.1.5 указываются сроки разработки ПДТМ.

9. В п.1.6 указывается время и место проведения апробации ПДТМ (если это имело место).

10. В п.1.7 приводятся сведения (при их наличии) о проведении внешней экспертизы и сведения об организации, проводившей эту экспертизу. Под внешней экспертизой понимается экспертиза, проводившаяся в любых организациях, кроме ОС.

11. В п.2 приводятся данные о структуре тестового материала.

12. Столбец "Код" в таблице п.2 содержит уникальный код дидактической единицы. Второй столбец этой таблицы содержит полное наименование дидактической единицы и ее уровень иерархии. В третьем столбце содержится общее количество ТЗ для данной дидактической единицы. Далее указываются количественное и процентное содержание ТЗ различной формы и различной нормы трудности в ПДТМ.

13. К ИК ПДТМ прилагается содержание самих ПДТМ, где приводится спецификация каждого ТЗ.

14. Спецификация ТЗ включает:

    1. Уникальный идентификатор тестового задания (сквозной по всем ПДТМ).

    2. Норма трудности (вес задания при подсчете баллов): 1 - легкое ТЗ, 2 - ТЗ средней трудности, 3 - трудное ТЗ.

    3. Тематическая принадлежность ТЗ (код, соответствующий дидактической единице из таблицы в п.2 ИКПДТМ).

    4. Максимально-допустимое время предъявления задания на экране дисплея в минутах.

    5. Механизм оценки заключения на тестовое задание: 1 - дихотомическая оценка, 2 - политологическая.

    6. Содержание (формулировка) тестового задания.

    7. Дистракторы и правильные заключения (ответы).

15. Форма представления спецификации ТЗ регламентируется «Методическими рекомендациями по оформлению спецификации тестовых заданий».

Приложение 7 Рекомендации по оформлению спецификации тестовых заданий в формате word для предоставления на сертификацию

1. Использование данных рекомендаций позволит автоматизировать многие этапы сертификации ПДТМ, что в конечном итоге скажется на сокращении общего времени проведения сертификации ПДТМ.

2. Для указания спецификации теста необходимо перед названием раздела указывать символы «V1:», перед началом подраздела – «V2:», перед началом темы – «V3:» и т.д. для более низких уровней иерархии спецификации. Далее перечисляются тестовые задания, принадлежащие соответствующему узлу спецификации теста. Например,

V1: Реляционная алгебра

..... здесь могут перечисляться тестовые задания к этому разделу......

V2: Операции реляционной алгебры

..... здесь могут перечисляться тестовые задания к этому подразделу......

V3: Операция объединения

..... здесь могут перечисляться тестовые задания к этой теме......

V3: Операция пересечения

..... здесь могут перечисляться тестовые задания к этой теме и т.д.......

3. Тестовое задание начинается с символов «I:». Далее в этой строке указывается название ТЗ (или его уникальный номер); норма трудности (КТ); код, соответствующий дидактической единице (ТЕМА) из таблицы в п.2 ИК ПДТМ; максимально допустимое время (0 – означает, что нет ограничения по времени) предъявления задания на экране дисплея в минутах (ВРЕМЯ); механизм оценки заключения на тестовое задание (ОЦЕНКА): 1 - дихотомическая оценка, 2 – политологическая, например:

I: ТЗ25, КТ=2, ТЕМА= «код», ВРЕМЯ=число, ОЦЕНКА=1 или 2.

4. Формулировка ТЗ и варианты ответов указываются с новой строки после меры трудности. Для каждой формы ТЗ существуют свои правила для оформления формулировки ТЗ и вариантов ответов

5. Закрытая форма

Формулировка ТЗ указывается после символов «S:», затем перечень всех ответов, причем, правильные ответы отмечены знаками «+:», а неправильные «-:»

Пример.

I:ТЗ25, КТ=2, ТЕМА= «2.2.3», ВРЕМЯ=2, ОЦЕНКА=1.

S: Моральное сознание включает элементы …

+: теоретическое обоснование нравственных норм

+: личностные мотивы, принципы, ценности

–: законы, нормы и правила, принятые в обществе

-: поступки людей

-: оценки людей

I:ТЗ26, КТ=1, ТЕМА= «2.2.5», ВРЕМЯ=0, ОЦЕНКА=1.

S: Неразъёмные соединения:

-: шлицевые

-: резьбовые

-: клиновые

+: заклёпочные

+: сварные

6. Открытая форма

Формулировка ТЗ указывается после символов «S:», затем перечень всех вариантов правильных ответов, помеченных символами «+:». На месте пропущенного ответа должны быть знаки ###. Для исключения грамматических или орфографических ошибок ввода в вариантах ответов можно использовать символы-шаблоны:

* – не учитывается введенная на этом месте буква;

#$# – не учитывается окончание слова.

Пример.

I: ТЗ27, КТ=3, ТЕМА= «2.2.6», ВРЕМЯ=0, ОЦЕНКА=1.

S: Измеряемый индикатор достижения цели называется ###

+: критерием

+: Кр*т*р*ем

+: Кр*т*р#$#

I: ТЗ28, КТ=1, ТЕМА= «2.2.7», ВРЕМЯ=0, ОЦЕНКА=1.

S: ### - фамилия первого в мире космонавта.

+: Гагарин

+: ГАГАРИН

+: Гагарин

7. ТЗ на соответствие

Формулировка ТЗ указывается после символов «S:», затем перечень левой части соответствия, а потом правой части по следующему принципу:

{Пример оформления задания на соответствие}

I: – {указатель начала задания}

S: – {указатель начала формулировки задания}

L1: {первый элемент первого множества}

L2: {второй элемент первого множества}

L3: …

L4: {четвертый элемент первого множества}

L5: {пустой элемент первого множества}

R1: {первый элемент второго множества, соответствующий первому элементу первого множества}

R2: {второй элемент второго множества, соответствующий второму элементу первого множества}

R3: …

R4: {четвертый элемент второго множества, соответствующий четвертому элементу первого множества}

R5: {элемент второго множества не соответствующий никакому элементу первого множества}

Пример:

I:ТЗ29, КТ=3, ТЕМА= «2.2.7», ВРЕМЯ=0, ОЦЕНКА=1.

S: Соответствие между странами и их столицами:

L1: Россия

L2: Китай

L3: Япония

L4: Франция

L5:

R1: Москва

R2: Пекин

R3: Токио

R4: Париж

R5: Томск

I:ТЗ30, КТ=3, ТЕМА= «2.2.7», ВРЕМЯ=0, ОЦЕНКА=1.

S: Соответствие между русским и английским словом:

L1: tea

L2: cream

LЗ: juice

L4: water

L5:

L6:

R1: чай

R2: сливки

R3: сок

R4: вода

R5: кофе

R6: какао

8. ТЗ на упорядочивание

Указывается формулировка ТЗ, затем правильная последовательность всех элементов.

{Пример оформления задания на упорядочение}

I: – {указатель начала задания}

Q: – {указатель начала формулировки задания}

Дается правильная последовательность со специальными символами:

1: {первый элемент правильной последовательности}

2: {второй элемент правильной последовательности}

...

5: {пятый элемент правильной последовательности}

Пример:

I: ТЗ31, КТ=2, ТЕМА= «2.2.7», ВРЕМЯ=0, ОЦЕНКА=1.

Q: Последовательность дней недели:

1: понедельник

2: вторник

3: среда

4: четверг

Приложение 8

Пример расчета некоторых статистических показателей по результатам тестирования.

Sn – номер испытуемого; TZ – номер тестового задания; Xj – количество правильно выполненных заданий j-ым испытуемым; Хср. – среднее значение выборки (равно 5,00); Zj – значение показателя Z-шкалы j-го испытуемого; Oj – оценка j-го испытуемого по четырехбалльной шкале; Pj – доля правильных ответов от общего количества заданий j-го испытуемого; Qj – доля неверно выполненных заданий j-го испытуемого; Ri – количество испытуемых, выполнивших правильно i-ое задание; Wi – количество заданий, выполненных неправильно i-ым испытуемым; Pi – доля испытуемых, выполнивших верно i-ое задание (трудность задания); Qi – доля испытуемых, выполнивших неверно i-ое задание; Sx – стандартное отклонение баллов в выборке (равно 2,62).

Литература

1. Васильев В. И. Основы культуры адаптивного тестирования / В. И. Васильев, Т. Н. Тягунова. - М.: Издательство ИКАР, 2003. - 584 с.

2. Звонников В. И.  Современные средства оценивания результатов обучения: учебное пособие для студ. вузов / В. И. Звонников, М. Б. Челышкова. - М.: Академия, 2007. - 224 с.

3. Караушев В. Ф. Введение в разработку банков программно-дидактических тестовых заданий: руководство / В. Ф. Караушев, Л. В. Тереньтьева, Т. Н. Тягунова; под ред. В. И. Васильева. - М.: МГУП, 2005. - 52 с.

4. Ким В. С. Тестирование учебных достижений: монография. / В. С. Ким. - Уссурийск: Издательство УГПИ, 2007. - 214 с.

5. Майоров А. Н. Теория и практика создания тестов для системы образования: [Как выбрать, создать и использовать тесты для целей образования]. - М., 2000. - 352 с.

6. Сбор и статистическая обработка результатов тестирования: методические рекомендации для разработки тестовых заданий по дисциплинам ГОС ВПО в модели AST-центра / авт.-сост. А. Н. Величко, О. А. Ефремова, Н. В. Кошман, А. В. Харламов; под ред. А. Н. Величко. – Новосибирск, 2006. – 32 с.

7. Тестовые задания: методические рекомендации для разработки тестовых заданий по дисциплинам ГОС ВПО в модели AST-центра / авт.-сост. А. Н. Величко, О. А. Ефремова, Н. В. Кошман, А. В. Харламов; под ред. А. Н. Величко. – Новосибирск, 2005. – 32 с.

8. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учебное пособие / М. Б. Челышкова. - М.: Логос, 2002. - 432 с.

9. Экспертиза банка тестовых заданий: методические рекомендации для разработки тестовых заданий по дисциплинам ГОС ВПО в модели AST-центра / авт.-сост. А. Н. Величко, О. А. Ефремова, Н. В. Кошман, А. В. Харламов; под ред. А. Н. Величко. – Новосибирск, 2006. – 29 с.

44