Переход к несвязанной ек
В некоторых ситуациях движение вверх-вниз по иерархии ЕК невозможно, однако в иерархии ЕК еще могут присутствовать непомеченные ЕК.
Поиск таких ЕК выполняется обходом ациклического графа в ширину, начиная с родительской ЕК по отношению к currentC. Если такие ЕК не найдены, то поиск возобновляется с ЕК более верхнего уровня (и т. д.) вплоть доbцелевой ЕК.
Пусть в результате обхода сформировано множество еще непомеченных ЕК SampleC и известна их общая родительская ЕК parentC.
Если испытуемый уже отвечал на вопрос, ассоциированный с parentC, то выбор вопроса (единицы компетенции) осуществляется по тем же принципам, что и при движении вниз по иерархии ЕК.
Если испытуемый еще не отвечал на вопрос, ассоциированный с parentC, то из вопросов, ассоциированных с дочерними ЕК для parentC, формируется множество SampleQ. Среди вопросов SampleQ выбирается вопрос, уровень сложности которого равен последнему вопросу, на который был получен правильный ответ. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.
Ответ на тестовый вопрос записывается в траекторию тестирования Student.TestTrack.
Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные, и продолжается движение вниз по иерархии ЕК до листьев.
Если ответ оценен положительно, то осуществляется переход к следующей несвязанной ЕК, пока имеются непомеченные вершины.
Рассмотрим на примере переход к несвязанной ЕК. Испытуемый последний раз неудачно ответил на вопрос currentQ = Q2 (currentC = С6). ЕК С6 является базовой, поэтому движение вниз по иерархии невозможно; движение вверх также невозможно, так как родительская ЕК уже помечена. В этом случае необходим поиск оставшихся непомеченных ЕК. Путем обхода графа находим множество непомеченных ЕК SampleC = {C3}с общим родителем parentC = C1 и формируем множество связанных с ними вопросов – SampleQ = {Q3}.
Так как вопрос только один, то задаем его вне зависимости от уровня сложности; следовательно, currentQ = Q3 и currentC = С3 (см. рис. 3).
Предположим, что испытуемый ответил на вопрос Q3 верно, тогда помечаем ЕК С3 как подтвержденную (см. рис. 3). Так как все ЕК помечены, то тестирование завершается.
Учет нескольких целевых ек
В иерархии ЕК в общем случае может быть несколько целевых ЕК. Однако задачу обхода ациклического графа с несколькими целевыми ЕК можно свести к задаче обхода циклического графа с одной целевой ЕК. Для этого из графа выделяется подграф с одной целевой ЕК и выполняется его обход. При этом распространение пометок владеет/не владеет для ЕК выполняется на весь граф. Далее выделяется подграф с другой целевой ЕК и выполняется его обход с учетом пометок ЕК, полученных при предыдущем обходе. Так продолжается для всех целевых ЕК.
В рассмотренном примере ациклический граф включает две целевые ЕК – C1 и C2. Сначала исследуется целевая ЕК C1; связанный с ней подграф включает в себя все узлы, кроме C2. В результате исследования целевой ЕК C1 помечаются все ЕК в иерархии (в том числе, целевая ЕК C2). Следовательно, дальнейшее тестирование не требуется.
В настоящее время применяются различные алгоритмы организации адаптивного тестирования, однако все они в той или иной степени основываются на применении моделей современной теории конструирования адаптивных тестов – IRT (Item Response Theory). На рисунке 2 представлены вариации индивидуальных траекторий испытуемых, наглядно иллюстрирующие результаты адаптивного тестирования учащихся низкого (нижний график), высокого (средний график) и среднего (верхний график) уровней обученности. В соответствии с алгоритмом, после выполнения учащимся очередного задания осуществляется пересчет текущей оценки его уровня обученности для выбора последующего задания адаптивного теста. Выходом из тестирования выступает достижение либо требуемой точности измерения уровня обученности студента, либо определенного количества выполненных заданий.
Рис. 2.Визуализация индивидуальных траекторий испытуемых: в кружках – номера заданий
Рассмотренный подход помогает выявить уровень обученности испытуемого, обусловленный его способностью выполнять задания теста определенной сложности, однако не дает возможности определить структуру знаний учащегося на уровне выявления у него «пробелов» в освоении элементарных дидактических единиц, что, на наш взгляд, является существенным недостатком данной методики.
Давайте рассмотрим алгоритм проведения адаптивного тестирования, который позволяет оценить уровень обученности каждого студента.
Тестирование начинается с предъявления испытуемому вопроса 2-го уровня сложности из первой темы раздела. Освоение вопросов данного уровня соответствует основным навыкам и умениям, формирование которых отвечает нормам, установленным государственным образовательным стандартом.
В случае правильного ответа на первый вопрос
учащемуся предлагается вопрос того же уровня сложности из следующей темы. При неправильном ответе учащемуся дается вопрос 1-го уровня сложности из текущей темы, в случае успешного ответа испытуемый также переходит к вопросу 2-го уровня сложности следующей темы. Если же на вопрос 1-го уровня сложности получен неверный ответ, учащемуся представляется возможность освоить текущую тему на минимальном уровне – с помощью подсказки в виде наводящего вопроса или поясняющего рисунка, – иначе тема считается полностью не освоенной. Выявление уровня усвоения тематического материала по текущему разделу на основе описанного алгоритма осуществляется до конца теста. По окончании тестирования, в случае достижения студентом 75 %-го освоения вопросов 2-го уровня сложности, ему дается возможность ответить на вопросы 3-го уровня сложности по успешно освоенным темам и, соответственно, набрать дополнительные баллы (такую возможность обычно получают сильные студенты, успешно справляющиеся с заданиями базового уровня).
Завершение тестирования сопровождается объявлением всем участникам количества набранных ими баллов (в т. ч. дополнительных), а также списка тем, по которым у них зафиксированы «пробелы» в знаниях. Баллы за выполнение задания теста соответствуют уровню его сложности: например, за успешное выполнение задания 1-го уровня сложности начисляется 1 балл. Однако в случае использования подсказки «цена» задания снижается до 0,5 балла. Итоговая оценка выставляется в общей сумме баллов и по пятибалльной системе, исходя из процента правильных ответов на задания 1-го и 2-го уровней сложности: меньше 30 % – оценка «2»; 30 % – 50 % – оценка «3»; 50 % – 75 % – оценка «4»; более 75 % – оценка «5».
Схема описанного алгоритма адаптивного тестирования
