1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Основное преимущество этих заданий – невозможность угадать ответ, а главная трудность при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа.

2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа.

1. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения.

Обычно задание соответствия состоит из двух столбцов: в первом – вопросы, утверждения, факты, понятия и т. д., во втором идет список утверждений или свойств, объектов, которые надо поставить в соответствие.

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние и т.д.

Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок технологических операций, для гуманитарных дисциплин – восстановление временных последовательностей событий, для точных наук – алгоритмы решения задач и др.

В целом адаптивное тестирование можно определить как научно обоснованный метод педагогического контроля, реализуемый с помощью автоматизированных процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов. Он обеспечивает эффективность педагогических измерений по сравнению с традиционным тестированием фиксированной длины и времени за счет оптимального подбора характеристик заданий (трудности и дифференцирующей способности), их количества, последовательности и скорости предъявления применительно к уровню подготовленности каждого испытуемого.

Адаптивное тестирование обладает рядом преимуществ, поскольку обеспечивает:

• индивидуализацию темпа тестирования, достигаемую адаптивными алгоритмами и соответствующим программным обеспечением;

• создание ситуации успеха за счет исключения предъявления слабо подготовленным учащимся излишне трудных заданий, вызывающих рост тревожности и чувство страха;

• высокий уровень секретности, практически исключающий возможность списывания, подсказок и других нежелательных эффектов в процессе выполнения тестовых заданий;

• незамедлительное сообщение результата в интервальной шкале тестовых баллов каждому тестируемому сразу после окончания его работы над индивидуально подобранным набором заданий;

• минимизацию числа заданий, времени тестирования в условиях, когда ошибка измерения не выше (либо равна, либо ниже) той, которая получается в аналогичных по содержанию традиционных тестах;

• исключение временных, организационных и финансовых затрат на стандартизацию для установления норм тестов в силу отсутствия стандартизированных тестов фиксированной длины.

Порядок задания вопросов в известных алгоритмах адаптивного тестирования определяется

статической сложностью вопросов. Сначала задается вопрос среднего уровня сложности или того уровня, который соответствует уровню испытуемого. Если испытуемый дает правильный ответ, то сложность очередного вопроса повышается, в противном случае – понижается.

Тестирование завершается в случае:

• если испытуемый ответил на самый сложный вопрос;

• испытуемый не ответил на самый легкий вопрос;

• испытуемый многократно ответил на вопросы некоторого уровня сложности, но не смог ответить на более сложные вопросы.

Такой подход хорошо применим к нормативно-ориентированному тесту, однако не всегда – для критериально-ориентированного теста, который выявляет степень усвоения испытуемым определенного раздела в заданной предметной области. Существующий подход адаптивного тестирования не гарантирует, что будут заданы вопросы, соответствующие всем единицам компетенции (ЕК) некоторого раздела предметной области. Под ЕК будем понимать любую сторону или составляющую компетенции, которую с точки зрения тестирования целесообразно учитывать и специфицировать в самостоятельном качестве. Под компетенцией понимается набор качеств (знаний, навыков, мотивов, установок), способствующих успешному решению определенной задачи.

Актуальной задачей является расширение адаптивного подхода за счет использования иерархии ЕК для определения очередного задаваемого вопроса. В этом случае порядок задаваемых вопросов будет определяться в первую очередь движением по сети ЕК и только во вторую – повышением или понижением уровня сложности тестовых вопросов. Такой подход позволит задавать вопросы по всем интересующим нас ЕК и определять те ЕК, которыми не владеет испытуемый.

Модель теста, ориентированного на ЕК

Тест представляет собой базу вопросов QВ, в которой с каждым вопросом ассоциируется одна или несколько ЕК:

Test = {QB, CN, SA}, (1)

где QВ − база тестовых вопросов; CN – единицы компетенции, которыми должен владеть испытуемый (представляется ациклическим графом, см. ниже); SA − отношения ассоциации между единицей компетенции и вопросами; наличие отношения ассоциации A_k между единицей компетенции C_i и вопросом Q_j указывает, что для успешного ответа на вопрос Q_j необходимо владеть единицей компетенции C_i.

Единицы компетенции, которыми должен владеть испытуемый, составляют иерархию и могут быть представлены ациклическим графом:

CN = {SC,SS}, (2)

где SC − множество единиц компетентности; SS − направленные отношения декомпозиции-агрегации между единицей компетентности.

Отношение декомпозиции-агрегации S_m =(C_i,C_j) указывает, что для владения единиц компетентности C_i необходимо владеть ЕК C_j . ЕК C_i будет называть родительской по отношению к ЕК C_j и, наоборот, считать дочерней по отношению к ЕК C_i.

На рис.2 представлен пример иерархии ЕК и связанных с ней вопросов для предметной области «программирование на языке высокого уровня Си».

В иерархии можно выделить ЕК трех типов: целевые, базовые и промежуточные.

Целевые ЕК – это комплексные знания и умения, которыми должны обладать все испытуемые в рамках оцениваемого раздела предметной области; они представляются в ациклическом графе вершинами с полу степенью захода, равной 0 (в примере ЕК С₁ и С₂).

Базовые ЕК – это знаниям и умениям, которые считаются неделимыми; они соответствуют листьям ациклического графа (в примере ЕК С₅ и С₆).

Остальные ЕК соответствуют знаниям и умениям, которые обеспечивают ЕК более высокого уровня и одновременно сами поддерживаются низко-уровневыми ЕК (в примере ЕК С₃ и С₄).

Необходимо отметить, что владение всеми дочерними ЕК (например, ЕК С₃ и С₄) зачастую не означает владение родительской ЕК (например, ЕК С₁). Это обусловлено тем, что родительская ЕК требует от испытуемого уме-ние комбинировать дочерние ЕК и применять их в соответствии с контекстом.

Отдельная ЕК представляется кортежем:

C= {Name, Mark}, (3)

где Name − наименование ЕК (оно должно быть уникальным среди всех ЕК и задаваться автором теста); Mark − пометка, определяющая, владеет ли испытуемый данной ЕК. Изначально ЕК не помечена, но в процессе тестирования ей присваивается значение либо владеет, либо не владеет.

База QВ содержит множество тестовых во-просов, где каждый вопрос представляется кортежем:

Q = {Content, Difficulty, Tags}, (4)

где Content – тип («вопрос с открытым ответом», «вопрос с закрытым ответом» и т. д.) и формулировка вопроса, варианты правильных ответов; задается автором теста; Difficulty − статистическая сложность вопроса – это доля не справившихся с вопросом участников из группы испытуемых(шкала измерения от 0 до 100 %.); задается либо экспертным путем, либо вычисляется на основе статистической выборки из предыдущих попыток тестирования;

Tags − список классификационных при-знаков, характеризующих контент вопроса Content; признаки задаются автором теста и используются для поиска связанных вопросов по контенту.

Ниже приведен пример тестового вопроса.

Вопрос

Q₁

Content = Тип: «вопрос с закрытым ответом»

Формулировка:

Укажите типы данных, относящиеся к скалярным:

• char

• unsigned char

• unsigned int

• unsigned long int

• – char *

Варианты правильных ответов:

• char

• unsigned char

• unsigned int

• unsigned long int

Difficulty = 50

Tags = { char, unsigned char, unsigned int, unsigned long int}.

Рис. 2. Пример иерархии ЕК и ассоциированных с ней вопросов