5. ПрИменение заданий в тестовой форме

ДЛЯ КОНТРОЛЯ УСПЕВАЕМОСТИ

На вопрос о применимости тестов для контроля успеваемости студентов по учебной дисциплине или по ее отдельным частям (разделам, темам, модулям) следует ответить отрицательно. Казалось бы, достаточно просто изменить подход к интерпретации результатов тестирования – установить шкалу оценивания в зависимости от количества правильно выполненных тестовых заданий, в соответствии с которой и выставить испытуемым оценки. Однако, к сожалению, задача более сложна.

Как уже указывалось, сфера применения тестов как средства педагогических измерений ограничена задачей ранжирования испытуемых внутри подвергнутой тестированию группы. Именно этой задаче подчинены и композиция тестов, и принципы отбора тестовых заданий. Другими словами, педагогические тесты формируются так, чтобы обеспечить оценивание знаний испытуемых по отношению друг к другу, тогда как контроль успеваемости подразумевает оценивание уровня подготовленности по некой абсолютной шкале, учитывающей не только факт усвоения определенного учебного материала (усвоен – не усвоен), но и степень этого усвоения.

В подтверждение приведем хотя бы такой аргумент. Как известно, тестовое задание, с которым успешно справляются все испытуемые, должно быть исключено из теста, равно как и задание, которое не может выполнить никто, поскольку такие задания не позволяют ранжировать членов группы. Если же речь идет о проверке знаний, а указанными заданиями контролируется усвоение определенного учебного материала, исключать их нет никакой необходимости. При качественно сформулированных заданиях тот факт, что некоторые из них выполняются всеми, а отдельные не выполняются никем из студентов, говорит лишь о достоинствах или недостатках преподавания соответствующих разделов дисциплины.

Разрешающая способность теста как инструмента ранжирования испытуемых всегда должна быть выше разрешающей способности средств измерения успеваемости, поскольку в последнем случае необходимо только разделять испытуемых на группы по количеству баллов в принятой шкале оценивания, а не выстраивать их по рейтингу. Отсюда следует возможность корректировки в сторону смягчения требования возрастающей трудности заданий. Видимо, нет жесткой необходимости в последовательном нарастании трудности от задания к заданию. Можно допустить наличие в тесте нескольких групп заданий возрастающей сложности при том, что внутри этих групп трудность заданий будет одинаковой.

Изложенное приводит к выводу, что для контроля успеваемости необходимо применять не педагогические тесты, акомплекты заданий в тестовой форме.

При этом все требования к форме заданий, изложенные ранее в настоящем пособии, остаются неизменными. Меняется лишь подход к отбору заданий.

Прежде всего, необходимо обеспечить репрезентативность содержания учебной дисциплины в комплекте заданий. При комплектовании следует обратить внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях. В самом деле, проверить знания испытуемых можно по пяти-шести заданиям. Но где уверенность, что студенты знают остальные элементы содержания учебной дисциплины? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимых знаний и умений в заданиях комплекта. Репрезентативность не означает обязательного включения в комплект всех значимых элементов содержания или строго пропорционального включения в тест заданий по различным темам. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой, полностью или частично. Кроме того, многие элементы в структуре знаний иерархически соподчинены, а потому из соображений экономии, нет смысла включать в комплект задания по всем изучавшимся темам.

Сколько же заданий следует включать в комплект?Стремление к повышению точности результатов контроля путем увеличения числа заданий в комплекте нельзя, в принципе, признать правильным. При создании комплекта заданий в тестовой форме обычно ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности студентов, как результат образовательной деятельности. Можно сказать так:содержание учебной дисциплины, как правило, всегда будет шире содержания комплекта заданий в тестовой форме.

Разумеется, репрезентативность комплекта заданий связана с числом заданий и в общем случае, чем больше заданий, тем репрезентативнее могут оказаться результаты. Точность педагогических измерений также зависит от числа заданий и растет по мере их увеличения. В то же время, число заданий, включаемых в комплект, ограничивается временем, которое отводится для проведения контрольного мероприятия (обычно 1–2 академических часа). Таким образом, можно говорить о некоем предельном (30 заданий) и оптимальном по размеру комплекте заданий в тестовой форме.

Что касается дифференцирующей способностиикоррелированности балловкаждого задания с суммарной оценкой по всему комплекту, то эти важнейшие требования к тестовым заданиям в полной мере должны быть отнесены и к заданиям в тестовой форме, включаемым в комплект для контроля успеваемости.

Ниже приводится один из возможных подходов к формированию комплектов заданий в тестовой форме для модульного контроля, принятый кафедрой автоматизации производственных процессов НМетАУ и соответствующей кафедрой ГИПОпром. Указанный подход ориентирован на использование 12-бальной шкалы оценивания, которая, легко трансформируясь в отечественную 4-бальную шкалу (см. табл. 5.1), позволяет существенно увеличить точность педагогических измерений.

Таблица 5.1 – Соответствие оценок 12-бальной и 4-бальной шкал

4-бальная шкала	12-бальная шкала
неудовлетворительно	1
	2
	3
удовлетворительно	4
	5
	6
хорошо	7
	8
	9
отлично	10
	11
	12

Сущность предлагаемой методики состоит в том, что каждый вариант комплекта заданий включает 12 заданий в тестовой форме, дифференцированной трудности (рис.5.1). Половина из них (6 заданий) соответствуют наиболее низкому ознакомительно-ориентировочномууровнюсформированности знаний. Задания этой группы выявляют знание студентами таких учебных элементов дисциплины, как основные категории, термины, понятия и обозначения, свойства, явления, наблюдаемые факты и утверждения, описания объектов, механизмов и т.п. Условно говоря, это «задания на тройку».

База тестовых заданий

Задания наименьшей

трудности

(минимум – 15 заданий)

Задания средней

трудности

(минимум – 10 заданий)

Задания наибольшей

трудности

(минимум – 5 заданий)

Минимальное общее число

заданий - 30

Рис. 5.1 – Формирование комплекта заданий для проверки успеваемости

Треть заданий, входящих в комплект (4 задания), предназначены для контроля сформированности знаний более высокого понятийно-аналитического уровня, который предполагает знание основных соотношений, теорем, законов, концепций, правил, гипотез, теорий, физических и математических моделей, аналитических, графических и логических зависимостей, структур и т. п. Это, условно говоря – «задания на четверку».

Остальные задания (2 задания) являются наиболее сложными («задания на пятерку»). Контролируемый ними продуктивно-синтетический уровеньсформированности знаний предполагает знание и умение использовать на практике алгоритмы деятельности, в том числе алгоритмы решения задач, доказательства теорем, процедуры, правила принятия решений, поведения и т.п.

Расположение заданий в комплекте должно подчиняться требованию возрастающей трудности, т. е. сначала должны следовать задания первой, наиболее простой группы, затем второй и только в конце – третьей, наиболее сложной группы. В отличие от тестов, необходимость такого расположение заданий в комплекте объясняется несколько иначе. Более трудные задания, будучи расположенными перед простыми, могут стать причиной неоправданного занижения оценки. У слабых студентов, которые будут слишком долго решать трудные задания, рискуя так и не решить их, может просто не хватить времени на решение более простых заданий, с которыми они при иных обстоятельствах вполне могли бы справиться.

Для получения достаточного количества вариантов рекомендуется сформировать базу заданий в тестовой форме, включающую не менее 30-ти заданий различного уровня. Минимальное количество заданий должно составлять: 15 заданий первого, 10 заданий второго и 5 заданий третьего уровня. База такого объема позволяет скомпоновать более 10,5×10⁶комплектов заданий.

Наряду с этим остается весьма желательным использование заданий, параллельных по трудности.

Комплект заданий (рис. 5.1) формируется путем случайного выбора заданий каждой группы из базы. Преимущества использования при этом ПЭВМ и специализорованного программного обеспечения очевидны.

За правильное решение каждого из 12-ти заданий комплекта испытуемому присваивается 1 балл, за неверное решение – 0 баллов. Общая оценка за выполнение комплекта заданий определяется как простая сумма баллов, полученных за выполнение отдельных заданий.

Таким образом, для получения высокой оценки равно необходимо правильно решать как трудные, так и легкие задания. Другими совами, который справляется с трудными заданиями, но не может решить простых, не заслуживает высокой оценки.

Ориентировочное время на выполнение заданий различной трудности приведено в табл. 5.2.

Таблица 5.2 – Ориентировочное время на выполнение комплекта заданий в тестовой форме

Уровень трудности задания	Время, отведенное на решение
	одного задания	всех заданий соответствующего уровня
Задания 1-го уровня	1 мин.	16 = 6 мин.
Задания 2-го уровня	3 мин.	34 = 12 мин.
Задания 3-го уровня	6 мин.	62 = 12 мин.
ВСЕГО НАКОМПЛЕКТ ЗАДАНИЙ		30 мин. (2/3 акад.час.)

Описанный подход к организации контроля успеваемости отличается рядом преимуществ, наиболее существенными из которых являются:

• максимальная простота и прозрачность формирования оценок, не требующая каких бы-то ни было громоздких вычислений;

• приемлемая продолжительность контрольных мероприятий;

• минимальные затраты времени преподавателей на составление достаточного количества вариантов комплектов заданий;

• максимальная приспособленность для автоматизации процесса контроля с использованием средств вычислительной техники, как во время контрольных мероприятий, так и при оценивании результатов и их документировании.