4. Содержание компетентностных тестов, планирование, отбор и экспертиза качества

4.1. Целеполагание и планирование содержания аттестационного теста

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планиро­вания и оценки качества содержания теста.

В начале работы над тестом необходимо:

• Определить подход к созданию теста и интерпретации результатов измерения (нормативно- ориентированный, критериально-ориентированный или смешанный).

• Составить план содержания теста;

• Выбрать виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий.

При создании аттестационного теста ставится задача отобразить в его содер­жании то главное, что должны освоить обучающиеся в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения, сформулированные в виде компетенций, проверить невозможно из-за избыточной длины теста. Чтобы не утратить в содержании теста самое главное, необходимо структурировать цели обучения в форме компетенций и ввести определенную иерархию в их взаимное расположение. Этой задаче отвечает компетентностная модель подготовки бакалавра или магистра, необходимость построения которой для практических нужд процессов обучения и контроля вряд ли осознают преподаватели. При создании таксономии целей оценивания нет, и не может быть готовых общих схем, поскольку в каждом профиле определенного направления подготовки свои приоритеты, обусловленные региональной спецификой. При компетентностном подходе постановка целей не должна носить предметно-ориентированный характер в силу полидисциплинарного характера компетенций.

Хотя в настоящее время таксономия целей Блума (В.S.Bloom) является наиболее известной в мировой педагогической литературе, она не отвечает требованиям к результатам образования, заложенным в компетентностном подходе. Она не приемлема для целей тестирования с позиций аттестации на основе новых ФГОС, поскольку место знаний и умений, рассматриваемых как планируемые результаты обучения, теперь занимают компетенции. На сегодняшний день все таксономии должны уступить место компетентностным моделям подготовки выпускников учебных заведений, устанавливающим иерархию и структурные связи между компетенциями или кластерами компетенций.

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения в виде совокупности компетенций и их дескрипторам тех характеристик, которые позво­ляют однозначно отобразить компетенции в содержании тестов. Процесс операционализации сопровождается планированием содержания аттестационного теста. Среди наиболее перспективных моделей планирования можно назвать трехмерную модель, включающую содержание (дисциплины, их разделы или модули), технику измерения (формы заданий) и планируемые к проверке компетенции.

Процесс планирования содержания выполняется с помощью спецификации теста. В спецификации, разрабатываемой в форме таблицы, содержится примерная раскладка процентного соотношения компетенций (кластеров компетенций) и содержательных разделов (дисциплин или модулей), включенных в тест. В ней определяется необходимое число заданий, выбранное для оценивания в соответствии с важностью и трудоемкостью освоения компетенций или содержательных разделов. Раскладку начинают с подсчета априорно планируемого чис­ла заданий в тесте, которое затем будет неоднократно менять­ся в процессе работы над тестом и совершенствования его характеристик в сторону увеличения или уменьшения. Иногда спецификацию делают не в виде таблицы, а в развернутой форме, включая указания форм заданий, которые будут использоваться для оценки достижений уча­щихся, время выполнения теста, правила подсчета баллов и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания, обязательная для всех вариантов теста.

При тестировании с целью определения уровня освоенных знаний и умений, один из наиболее распространенных подходов к созданию таблицы спецификации основан на сопряжении процентного соотношения, планируемых к усвоению системы зна­ний и умений, с процентным соотношением заданий по раз­личным разделам или по различным содержательным линиям проверяемой дисциплины. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо пре дмету приведен в табл. 4.1.1. В него включен перечень знаний и умений по четырем содержательным разделам дисциплины:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схемах;

E — умение проводить оценочные суждения.

Таблица 4.1.1

№п/п	Планируемые к проверке знания и умения	Содержательные линии (разделы) дисциплины				Суммарное число заданий
		I (20%)	II (10%)	III (30%)	IV (40%)
1	А (10%)	1	1	2	2	6
2	В (20%)	2	1	4	5	12
3	С (30%)	4	2	5	7	18
4	D (30%)	4	2	5	7	18
5	E (10%)	1	—	2	3	6
Итого		12	6	18	24	60

Для заполнения таблицы было выбрано 60 заданий в качестве первоначальной длины теста. Вес каждого из разделов в процентах указан в первой строке табл. 4.1.1. Конечно, при заполнении таблицы в распределении за­даний удается лишь приближенно отобразить пропорции раз­делов. К тому же не во все ячейки должны быть вписаны чис­ла (например, ячейка на пересечении второго столбца и пя­той строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов дисциплины. Однако даже в таком приближенном видении общей раскладки зада­ний есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначаль­ная раскладка заданий будет претерпевать всяческие измене­ния. Это объясняется тем, что не все задания окажутся удач­ными и уместными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой — в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима дора­ботка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

При компетентностном подходе в спецификации должна быть отражена примерная раскладка процентного соотношения субтестов по отдельным переменным измерения, структура содержания субтестов, проверяемые компетенции и необходимое число заданий по каждому субтесту ( с указанием их формы. Фрагмент такой спецификации для 4-х субтестов, предназначенных для оценивания уровня освоения четырех компетенций одного кластера, показан в табл. 4.1.2.

Раскладка форм заданий по субтестам приведена только для первых двух компетенций с целью сокращения показанного фрагмента спецификации. Как следует из таблицы 4.1.2, для проверки уровня сформированности 1-й компетенции предназначается 42 задания, для второй – 29 заданий и т.д.. Подобное соотношение указывает на иерархию компетенций, где большая значимость придается первой компетенции по по сравнению со второй и всеми последующими компетенциями. При такой структуре таблицы спецификации необходимо строить 4 шкалы тестовых баллов для 4-х субтестов, а затем подсчитывать итоговый балл по всему тесту. В целом, при оценивании каждой компетенции отдельно число шкал должно быть равно числу оцениваемых компетенций.

При кластеризации компетенций с целью их оценивания для обозначения переменной каждому кластеру можно присвоить название, обобщающее совокупность компетенций, входящих в него либо просто пронумеровать кластеры. Тогда число шкал тестовых баллов обучающихся будет равно числу кластеров компетенций. Суммирование баллов по отдельным шкалам с весовыми коэффициентами позволит определить общий тестовый балл обучающегося. Сам тест будет состоять из набора субтестов, число которых равно числу кластеров, а каждый субтест предназначается для оценки достижений обучающихся по освоению совокупности компетенций одного кластера. Если субтесты окажутся слишком длинными, то тестирование можно проводить в несколько этапов на протяжении 3 – 5 дней.

Таблица 4.1.2

Распределение форм заданий по субтестам

Кластер компетенций (4 компетенции)	Компетентностный тест				Итого
	Субтесты (содержательные разделы, модули, дисциплины)
	1 субтест	2 субтест	3 субтест	4 субтест
	20 заданий– 20%	30 заданий– 30%	40 заданий– 40%	10 заданий– 10%
1 -я компетенция	14 заданий	Не оценивается	18 заданий	10 заданий	42
	0 – с выбором ответа		10 – с выбором ответа	0 – с выбором ответа
	10 – с краткими дополняемыми ответами		0 –– с краткими дополняемыми ответами	3 - с краткими дополняемыми ответами
	4 – с развернутыми ответами		3 – с развернутыми ответами	5 – с развернутыми ответами
	0 – проблемные задания с наиболее правильным ответом		5 – проблемные задания с наиболее правильным ответом	2 – проблемные задания с наиболее правильным ответом
2-я компетенция	9 заданий	10 заданий	Не оценивается	10 заданий	29
	5 – с выбором ответа	5 – с выбором ответа		0 – с выбором ответа
	0 –– с краткими дополняемыми ответами	0 –– с краткими дополняемыми ответами		2 – с краткими дополняемыми ответами
	2 – с развернутыми ответами	3 – с развернутыми ответами		3 – с развернутыми ответами
	2 – проблемные задания с наиболее правильным ответом	2 – проблемные задания с наиболее правильным ответом		5 – проблемные задания с наиболее правильным ответом
3-я компетенция	…………………	……..…………….	………………..	……………………..	14
4-я компетенция	…………………	…………………..	……………….	……………………..	8
Итого