Построение характеристических кривых для заданий
По полученным данным можем построить характеристические кривые для заданий. Характеристическая кривая описывается следующим уравнением:
В принципе, вместо логистической функции можно использовать любую функцию со смыслом функции распределения вероятностей, проверив обычными методами статистическую гипотезу о соответствии теоретического и наблюдаемого распределений, использование логистической функции связано отчасти с историческими причинами, отчасти с простотой вычислений. Например, известна модель Фергюссона, в которой вместо логистической функции строится функция нормального распределения и вводится поправочный коэффициент в показателе экспоненты для согласования моделей Раша и Фергюссона.
Характеристические кривые заданий показывают вероятность успеха в зависимости от уровня его подготовленности. Чем выше уровень подготовленности θ испытуемого, тем выше вероятность успеха в том или ином задании. Отметим, что в точках, где θ = β вероятность правильного ответа должна быть равной 0,5. То есть, если трудность задания равна уровню подготовленности (ability) испытуемого, то он с равной вероятностью может справиться или не справиться с этим заданием.[8]
Сами кривые для нашего теста представлены на рисунке 4.1.
Рисунок 4.1. Характеристические кривые сложности заданий(сложность 1M итераций)
Обсуждение результатов и дальнейших действий
Построенные характеристические кривые должны помочь сделать вывод об уровне подготовленности испытуемых и об эффективности диагностических материалов, что необходимо для адекватной оценки знаний. Для этого можно руководствоваться разными соображениями. С одной стороны, большее количество заданий, даже если задания повторяют характеристические кривые друг друга, повышает точность оценивания уровня знаний испытуемого. С другой стороны, задания с близкими характеристическими кривыми в смысле измерительной ценности неразличимы и поэтому ведут к ненужным затратам времени и других ресурсов.
Поэтому характеристические кривые заданий должны равномерно покрыть шкалу потенциально возможных уровней знаний испытуемых. При измерении уровня знаний по классической модели для каждого обучаемого формируется экзамен определенной длины из выбранных случайным образом заданий. При этом экзамены отличаются по сложности, и итоговая оценка формируется по статистике правильных ответов с учетом весовых коэффициентов заданий. Недостатком такого метода может быть появление ситуаций, когда слабому студенту попадается сложное задание и как следствие этого – практическое отсутствие ответов. А сильный студент может получить легкий экзамен и не проявить свои способности. Для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучаемому задания соответствовала его гипотетическому уровню готовности.
Практически это можно осуществить с помощью адаптивного тестирования.
Под адаптивным тестовым контролем понимают компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, настраиваемую под когнитивные и прочие возможности каждого конкретного студента. Эффективность контрольно-оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага. После выполнения испытуемым очередного задания каждый раз возникает потребность в принятии решения о подборе трудности следующего задания в зависимости от того, верным или неверным был предыдущий ответ. Алгоритм отбора и предъявления заданий строится по принципу обратной связи, когда при правильном ответе испытуемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем то, на которое испытуемым был дан неверный ответ. Также есть возможность задания дополнительных вопросов по темам, которые обучаемый знает не очень хорошо для более тонкого выяснения уровня знаний в данных областях. Таким образом, можно сказать, что адаптивная модель напоминает преподавателя на экзамене – если обучаемый отвечает на задаваемые вопросы уверенно и правильно, преподаватель достаточно быстро ставит ему положительную оценку. Если обучаемый начинает «плавать», то преподаватель задает ему дополнительные или наводящие вопросы того же уровня сложности или по той же теме, и в зависимости от ответов повышает или понижает уровень сложности заданий. И, наконец, если обучаемый с самого начала отвечает плохо, оценку преподаватель тоже ставит достаточно быстро, но отрицательную.
К непременным условиям реализации таких алгоритмов следует отнести:
наличие банка калиброванных заданий с устойчивыми оценками их параметров, позволяющими прогнозировать успех или неуспех испытуемого при подборе очередного задания адаптивного теста;
использование программно-инструментальных средств и компьютерных программ для индивидуализации алгоритмов подбора заданий, основанных, как правило, на оценке вероятности правильного выполнения учебных заданий;
использование параметрических моделей Item Response Theory.[7]
Тестирование можно начать с задания средней сложности, т.е. с задания со сложностью равной 0 логитов. А следующее задание будет зависеть от правильности ответа испытуемого. Если испытуемый решит задание верно, то следующий вопрос будет сложнее, иначе будет предложен вопрос легче.
Тестирование заканчивается, когда обучаемый выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности.
Достоинства:
Выявляет темы, которые обучаемый знает плохо и позволяет задать по ним ряд дополнительных вопросов.
Недостатки:
Заранее неизвестно, сколько вопросов необходимо задать обучаемому, чтобы определить его уровень знаний. Если вопросов, заложенных в систему тестирования, оказывается недостаточно, можно прервать тестирование и оценивать результат по тому количеству вопросов, на которое ответил обучаемый; В таких случаях нужны поправки на динамику работоспособности и утомления испытуемого. Этой поправки нет в известных моделях, следовательно необходимо исправить модель, что бы в ней она учитывалась.[8]
Вывод
Из таблицы 3.2.5 видно, что ∑βi=-0.44. Рекомендуется стремиться к тому, чтобы ∑βi было близко к нулю. Чем ближе ∑βi тем более сбалансированным является тест. Однако если мы захотим оптимизировать тест и сократить задания, которые обладают одинаковой характеристической кривой, то тест в среднем станет труднее, т.к. в нашем случае сократить придётся именно простые задания. С помощью такого теста адекватно оценить знания испытуемых с невысоким уровнем подготовленности будет тяжело. Наиболее целесообразным решением данной проблемы может стать применение адаптивного тестирования, описанного ранее(п. 3.5.).