5. Задания на установление соответствия

Преимущества: просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки: чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

6.Критерии оценки уровня освоения компетенций

6.1. Общие подходы к установлению критериев (стандартов) выполнения компетентностных тестов

Ключевую роль в оценивании уровня сформированности компетенций играет установление критериев, которые фиксируют внешние (наблюдаемые) признаки проявления компетенций. Критерии носят как описательный (качественный), так и количественный характер. Выбор критериев первого вида начинается с анализа наблюдаемых признаков проявления компетенций в процессе выполнения деятельности. Для этого сначала выбирают число уровней, а затем на основе тестирования, анкетирования или интервьюирования получают поведенческие примеры выполнении деятельности, с которой связаны описательные признаки проявления компетенции. Эти признаки ранжируют по уровням экспертным путем, а затем приступают к самой трудной – второй задаче, решение которой позволяет получить количественные критерии, устанавливаемые на шкале тестовых баллов и отделяющих уровни проявления компетенции. Количественные критерии называют пороговыми (критериальными) баллами. В зарубежной литературе для процесса выбора пороговых баллов обычно используют термин «установление стандартов выполнения тестов».

Пороговые оценки предназначены для разделения шкалы тестовых оценок на две или больше областей, создающих уровни выполнения теста, в соответствии с которыми можно разделить совокупности экзаменующихся. При тестирования учебных достижений термин «стандарт» используется двояко, поэтому следует различать образовательные стандарты и стандарты выполнения тестов. Для компетентностных тестов обычно говорят о стандарте выполнения, используя ­по существу этот термин попеременно с такими терминами как пороговая оценка, стандарт, проходной балл и критериальный балл. Это не вполне верно, так как при более корректном подходе стандарт выполнения теста нужно рассматривать как концептуальную версию желательного уровня компетентности, а пороговый балл считать его операциональной версией, непосредственно получаемой по результатам измерения.

Установление стандарта означает обоснование выбора одной или более пороговых оценок для деления на уровни шкалы результатов экзаменуемых. Пороговыми или критериальными эти баллы названы не случайно, поскольку они используются для отбора групп испытуемых в тех областях принятия решений, где есть потребность в классификации определенных совокупностей людей. Например, потребность в классификации возникает внутри профессии при аттестации персонала предприятий и организаций, где результаты классификации могут служить средством помощи руководству при отборе компетентных специалистов. Потребность в классификации резко возросла в наши дни в образовании в связи с введением новых ФГОС и необходимостью разработки компетентностных тестов.

В американском образовании университеты и колледжи часто устанавливают свои собственные пороговые баллы для различных широко используемых тестов, таких как «Тест английского языка как иностранного» (TOEFL), «Тест для магистров» (GRE), SAT ACT и др. Эти стандарты выполнения тестов и принимаемые на их основе решения по отбору для решения задачи зачисления в учебные заведения либо других квалификационных задач делят испытуемых на категории, число которых обычно колеблется от двух до пяти, хотя иногда бывает и больше в соответствии с решаемыми задачами классификации.

В наши дни для установления порогового балла, который на концептуальном уровне обычно называют стандартом компетентности, используются более совершенные подходы, в том числе основанные на современной теории тестов IRT. Разрабатываются программы отбора и обучения экспертов. Современные методы установления пороговых (критериальных) баллов для интерпретации результатов выполнения тестов широко представлены в книге Грегори Кизека, Михаэля Бунча «Установление стандартов» (Standard Setting, Gregory J. Cizek, Michael B. Bunch, Sage Publications, 2010). Они опираются на ряд основных принципов, которые, в частности, предписывают при проведении этих процедурам обязательный учет различных политических факторов, которые влияют на ­последствия выбора критериев. Отдельно разработана группа методов для случая, когда совокупность субтестов охватывает несколько уровней обучения и предметных областей. Эта технология, иногда называемая вертикальным установлением стандартов, помогает разработать последовательную систему стандартов выполнения тестов для ряда образовательных уровней и согласовать их с содержательными стандартами.

В целом, в образовании методы установления стандартов можно классифицировать по двум категориям: те, которые центрированы на испытуемых и те, которые центрированы на тесте. В первом случае ­суждения экспертов непосредственно основаны на анализе подготовки испытуемых, а во втором случае рекомендации по выбору порогового балла основаны на содержании всего теста или содержании заданий. Во втором случае стремятся выразить стандарт не в терминах выполнения теста испытуемыми ­относительно друг друга (в соответствующей группе сравнения), а в терминах определенных знаний, умений, целей, содержания или долей некоторой содержательной области, подлежащей усвоению. По аналогии с теорией тестирования в первом случае установление стандартов получило название нормативно-ориентированного, а втором - критериально –ориентированного.

В любом методе процедура установления стандартов выполнения компетентностных тестов начинается с экспертных оценок. Конечно, сама по себе подобная процедура экспертного выбора критериев владения компетенцией была бы очень субъективна, если бы не методы эмпирической валидизации критериев. Поэтому использовать один метод выбора пороговых баллов не рекомендуется, как правило, выбирают несколько методов, среди которых есть хотя бы один, включающий эмпирическую проверку стандартов выполнения тестов.

Критериально-ориентированная ориентация предполагает возможность использования трех подходов, которые отличаются по организации работы экспертов. Первый подход включает проверку содержания теста одним или несколькими экспертами, которые приводят суждения, основанные на впечатлении от целостного содержания теста. Второй подход базируется на оценках содержания отдельных заданий. Третий основной подход к установлению стандарта базируется на анализе и обработке эмпирических результатов выполнения теста испытуемыми. Поскольку третий подход является непременным дополнением к первым двум, его считают основным в процессе эмпирической валидизации критериев выполнения тестов.

Выбор оптимального метода установления стандарта во многом зависит от шкалы, используемой для оценивания результатов выполнения отдельных заданий теста. Многие методы допускают оценку результатов по заданиям только в дихотомической шкале, где нуль баллов присваивают за неправильный ответ, а один – за правильный. Уровень освоения компетенций обычно оценивается заданиями со свободно конструируемыми ответами, для которых разрабатываются шкалы политомических оценок отдельно для каждого задания теста. Поэтому для компетентностных тестов требуются методы установления стандартов, допускающие политомические оценки по заданиям теста.

Для снижения субъективизма при оценке качества образования очевидна важность использования тех показателей, которые допускают трансформацию в количественные критерии и нормы. Но несмотря на необходимость и важность количественных показателей при оценивании качества образования абсолютизировать их, превращая в критерии без развернутой интерпретации и учета дополнительных политических факторов недопустимо. Если количественные показатели не подвергаются такой интерпретации, то они являются просто статистическими данными, которые могут привести к непредсказуемым последствиям.

При установлении стандартов для компетентностных тестов возможны различные схемы построения итогового балла испытуемого и принятия аттестационного решения. В одном случае, внутри каждого уровня компетентности определяют пороговый балл, подлежащий обязательной эмпирической валидизации и позволяющий говорить об освоении определенного уровня компетенции в том случае, когда балл испытуемого, подсчитанный только по совокупности заданий, относящихся к данному диапазону компетентности, превышает критерий в каждом диапазоне. В другом случае можно сосредоточиться только на одном диапазоне, например, диапазоне высокой компетентности и зачитывать результаты аттестуемых как положительные вне зависимости от освоения ими компетенций на базовом или минимальном уровнях. В третьем случае, балл испытуемого можно находить простым сложением результатов по отдельным заданиям компетентностного теста, не задаваясь вопросом о принадлежности заданий отдельным диапазонам компетентности, а затем сопоставлять его с пороговым баллом и принимать решение об аттестации обучающегося. Следует отметить, что третий путь самый легкий, поэтому рекомендуется использовать именно его на начальном этапе создания компетентностных тестов.