Компьютерное тестирование. Интерпретация результатов тестирования

Системы компьютерного тестирования обеспечивают разработку дисциплинарных, междисциплинарных, квалификационных и других программ-тестов в различных предметных областях с использованием различных форм заданий. Для проверки знаний по техническим и другим дисциплинам применяются графические, мультимедийные задания.

Традиционный компьютеризованный тест предлагает тестируемому определенное количество вопросов. Это количество не зависит от того, насколько хорошо тестируемый отвечает на вопросы. Количество набранных баллов при использовании традиционного теста зависит от количества правильных ответов.

Адаптивный тестовый контроль, а в более широком понимании адаптивное обучение представляет собой современный компьютерный вариант реализации известного педагогического принципа индивидуализации обучения. Действительно, нет необходимости давать сильному учащемуся легкие задания, так как велика вероятность их правильного решения. Даже наоборот - слишком легкие вопросы вредны, потому что не обладают развивающим потенциалом. Точно так же из-за высокой вероятности неправильного решения нет смысла давать сложные вопросы слабым учащимся, которые к тому же снижают учебную мотивацию. Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования. В самом широком понимании компьютерный адаптивный тест - тест, который «приспосабливается» к возможностям тестируемого.

Адаптированное тестирование позволяет учащемуся с более высоким уровнем подготовки выполнить «сложные» вопросы, и наоборот, учащемуся с более низким уровнем выполнить «легкие». При этом доли правильных ответов у тестируемых могут совпадать, но так как первый отвечал на более сложные вопросы, то он и наберет большее количество баллов. Таким образом, в адаптивном тесте количество набранных баллов менее связано с количеством правильных ответов, чем в обычном тесте. Это зависит от уровня сложности вопросов, на которые даны правильные ответы.

Сходно ведет себя и адаптивный тест. Сначала он «задает» вопрос сред­ней сложности, и полученный ответ немедленно оценивается. Если ответ правильный, то оценка возможностей тестируемого повышается. В этом случае задается более сложный вопрос.

В адаптивном тесте на каждый вопрос в среднем выделяется больше времени для обдумывания, чем в обычном тесте. Например, у сдающих адаптивный тест вместо 2 минут на каждый вопрос может получиться 3 или 4 минуты (в зависимости от того, на сколько вопросов ему понадобится ответить).

Для решения задач адаптации разработаны и используются следующие модели и методы:

1. Линейная модель (модель Скиннера): все обучающиеся проходят одну и ту же, заранее определенную последовательность образовательных фрагментов, которая не зависит от действий обучающихся. Адаптация достигается за счет индивидуального времени прохождения.

2. Линейная модель с обратной связью (модель Пресси): продвижение вперед осуществляется по линейной программе только в случае, если обучающийся выбрал правильный ответ из нескольких возможных; если ответ был неверным, то следует возврат назад на одну ступень.

3. Разветвленная модель Краудера: разные ответы определяют разные ветви; при отсутствии ошибок обучающемуся предъявляется новый образовательный фрагмент. В противном случае возможен возврат к ранее осваиваемому материалу, либо выдача справок, комментариев, дополнительной информации.

4. Многоуровневая разветвленная модель: представление одного и того же образовательного фрагмента на нескольких уровнях сложности. Переход с одного уровня сложности на другой осуществляется по достижении некоторого заданного критерия.

5. Смешанные модели, содержащие разнообразные сочетания различных моделей. Большинство программных продуктов, созданных специализированными фирмами-разработчиками, реализуют именно смешанные модели, и поэтому подобные программные продукты относят к классу частично адаптированных.

Сдантартизация теста.

Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняются ли одно из принципиальных требований в тестологии - требования стандартизации.

Стандартизация - комплекс процедур, позволяющий создать для всех испытуемых равные условия.

Стандартизация включает ряд требований по организации тестирования:

• ни одному испытуемому не дается никаких преимуществ перед другими;

• группа тестируемых выравнена по мотивации;

• тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;

• содержание теста должно соответствовать требованиям стандартов образования;

• все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий);

• в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;

• заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.

Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя:

1. назначение и содержание;

2. показания для применения и ограничения;

3. состав теста;

4. информация об апробации теста (цели апробации, объем и состав выборки, основные статистические характеристики);

5. инструкция по процедуре проведения тестирования;

6. ключи;

7. данные о трудности и дискриминативности заданий;

8. данные о надежности и валидности теста;

9. другие статистические материалы;

10. правила (инструкция) для обработки данных;

11. устройство шкалы;

12. правила и особенности интерпретации результатов.

При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.

Инструкция для проводящего (ведущего) тестирование включает: условия проведение теста (где, в каком помещении, требования к помещению др.), время выполнения теста, материалы для проведения теста (бланки, ручки или карандаши, черновики и др.), поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать), необходимая квалификация лиц, которые проводят тестирование и др.

Инструкция для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер. Инструкция для ведущего приводится, как правило, в руководстве к тесту, а инструкция для испытуемого - прилагается к пакету тестовых материалов.

Инструкция для испытуемого включает: правила заполнения бланков ответов; образцы исправления неверно выполненного задания. Кроме того инструкция может содержать правила поведения учащегося и санкции за нарушение этих правил.

Проверка тестовых работ также регламентирована. Проверяющим даются эталоны правильных ответов и сдандартизированные критерии оценок.

Важным моментом в стандартизации теста является определение нормы, так как адекватность результатов выполнения теста достигается путем сопоставления первичного индивидуального балла с определенными нормами выполнения теста.

Нормы - это множество показателей, которые устанавливаются эмпирически, сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых. Наиболее распространенными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации. Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста. При таком сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше или ниже среднего результата выполнения теста. Разработка и процедуры получения этих показателей составляют процесс стандартизации теста.

Шкалирование результатов тестирования.

Вариативность тестов.

Создание параллельных вариантов.