Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.2. Алгоритмы и методы оценки умений
ме того, именно данный тип тестов ввиду объективной простоты и оценки только знаниевой компоненты требует активного использования долговременной памяти при слабом вовлечении рабочей памяти.
Усредненные значения правильности решения Rt
m
Данный параметр отражает количество правильных ответов на отдельные тестовые задания в зависимости от их содержания. В условиях моделирования образовательного процесса правильность ответа была наиболее значимым параметром
для тестов закрытого типа.
Rtm рассчитывается как процент правильно решенных задаíèé Rti от общего числа заданий этого типа:
∑ Rt
Rtm = · 100 %, (3.4)
i
N
ãäå Rtm – усредненные значения качества решения тестов
у данного студента; N – общее количество тестовых вопросов.
Данные тесты в соответствии с разработанным в первой части подходом могут быть отнесены к простым заданиям, так
как в 73 % случаев был дан правильный ответ и в 27 % – неправильный. Следовательно, для оценки вклада долговременной памяти в решение данного типа тестов можно применить
подход, разработанный для тестов с вопросами одинакового
уровня сложности на основании параметра ΔRt, отражающего отклонение значения Rtm у данного студента от эталонного
Rr. Также в качестве эталонного необходимо использовать ва-
риант, при котором все тестовые вопросы были решены верно:
Rr = 100 %. Тогда ΔRt будет определяться по следующей фор-
ìóëå:
Rt
ΔRt = , (3.5)
m
R
r
где Rtm – усредненные значения качества решения тестов
у данного студента; Rr – эталонное значение качества решения.
Отсюда к моделируемому тесту также могут применяться
критерии, разработанные на примере арифметических задач.
ΔRt =
0 при Rtm = 0,
0 < ΔRt < 1 ïðè Rt
1 при Rt
= Rr .
m
< Rr ,
m
(3.6)
111
Глава 3. Разработка и апробация алгоритмов и методов…
Соответственно, в формулу для оценивания вклада долговременной памяти при решении заданий пойдет текущее нормативное значение ΔRt.
LM = ΔRt . (3.7)
Усредненная длительность решения одного тестового вопроса
Расчет значений STm производится как соотношение суммарного времени решения заданий к их общему количеству
по следующей формуле:
∑ ST
i
STm =
где STm – усредненные значения времени решения тестов
, (3.8)
N
у данного студента; STi – время решения i-го тестового вопроса; N – количество вопросов теста.
При анализе времени выполнения тестов достоверных различий между временем правильного и неправильного ответа
выявлено не было (рис. 3.29). Среднее время решения составило 20 с. Это подтверждает выдвинутое предположение о том,
что в условиях базовой оценки компетенции правильность выполнения значимо не влияет на время выполнения стандартизированных тестовых заданий закрытого типа одинакового уровня сложности. Данное время решения может использоваться в качестве базового.
Рис. 3.29. Время решения вопросов закрытого теста в зависимости
от правильности
112
3.2. Алгоритмы и методы оценки умений
В ситуации, если в блоке заданий используются задания
одинаковой сложности, для балльной оценки вклада долговременной и рабочей памяти может использоваться параметр
ΔST, отражающий отклонение времени решения каждого зада-
íèÿ STi у данного студента от усредненных значений STm:
∑ ST
ΔST = , (3.9)
ãäå STi – время решения каждого вопроса теста у данного сту-
ST
i
m
дента; STm – усредненные значения времени решения вопросов теста.
Также возможно применение параметров, разработанных
на модели арифметических примеров:
< 1 при STi < STm,
ΔST =
1 ïðè ST
>1 при ST
= STm,
i
> STm .
i
(3.10)
Поскольку тестовые задания на основании процента правильных ответов были определены как простые, можно предполагать, что значения параметра ΔST не отражают вклад рабочей памяти, а связаны только с долговременной (ΔSTLM). Исходя из этого, в формуле для расчета LM нужно применять
только корэффициент правильности решения k. Коэффициент
сложности h необходимо исключить:
LM = ΔRt + ΔSTLM · k. (3.11)
Увеличения STi в данном случае будут связаны не с увеличением вклада долговременной памяти, а с возможным привлечением дополнительных ресурсов произвольного внимания.
Поэтому при ΔST > 1 данный параметр начинает характеризовать вклад произвольного внимания (SA). Поскольку
для данного параметра возможно влияние уровня сложности,
в формулу нужно добавить коэффициент h.
В количественном отношении данный параметр может
быть выражен по формуле
STi – ST
SA =
m
· h, (3.12)
ST
m
113
Глава 3. Разработка и апробация алгоритмов и методов…
ãäå SА – количественная оценка уровня произвольного внимания; STi – время решения каждого вопроса у данного студента;
STm – усредненные значения времени решения вопросов теста;
h – коэффициент сложности тестового вопроса.
Значения параметра A также будут принадлежать следующим нормативам:
SA =
0 ïðè STi = STm,
0 < SA < 1 ïðè ST
> STm .
i
(3.13)
Усредненное количество этапов
При анализе соблюдения количества этапов в зависимости
от правильности решения было выявлено, что при правильном ответе в 72 % случаев применялся полный алгоритм решения, требующий прохождения трех этапов (чтение задания,
чтение ответов, выбор и подтверждение варианта ответа), и в
28 % – в 2 этапа. При неправильном решении ситуация была
сходной – в 68 % случаев примеры решались в 3 этапа и в
31 % – в 2 этапа. Вероятнее всего, сокращение количества
этапов отражало субъективную простоту задания, так как сокращалась, прежде всего, последняя операция.
Следовательно, в условиях моделирования тестов закрытого
типа количество этапов решения не коррелировало с правильностью ответа. Увеличения количества этапов также не отмечено. Небольшое увеличение количества ответов в 2 этапа
(NOi< 3 в таблице нормативов) связано со слиянием операций
ввиду субъективной простоты решения (при правильном ответе) или пропуск некоторых из них в связи с попыткой угадывания ответа (при неправильном).
Поэтому целесообразно ввести среднее значение данного
показателя NOm, являющееся характеристикой данного обучающегося и характеризующее его собственный алгоритм решения:
∑ NO
NOm = , (3.14)
i
N
ãäå NOi – количество промежуточных операций при решении
каждого примера; N – общее количество выполненных заданий.
114
3.2. Алгоритмы и методы оценки умений
Для интегральной оценки компетенции возможно использование следующего стандартизированного подхода, учитывающего отклонение количества операций при выполнении текущего задания от усредненного для данного студента (ΔNO).
Необходимо также учитывать сложность и правильность задания:
< 1 ïðè NOi > NOm,
ΔNO=
1 ïðè NO
>1 ïðè NO
= NOm,
i
< NOm .
i
(3.15)
Поскольку для данного типа тестов вклад рабочей памяти
незначителен, также можно предположить, что изменения количества операций при решении простых тестов будут связаны с уровнем произвольного внимания:
A = SA + ΔNO. (3.16)
Длительность каждой последовательной операции
Данный параметр определяет время нахождения участника
на отдельных этапах выполнения тестового задания (чтение
вопроса – просмотр вариантов ответа – выбор ответа и подтверждение ответа).
Анализ длительности отдельных операций показал
(рис. 3.30), что основные различия между правильным и неправильным решением были связаны с длительностью второй
операции. Неправильное решение независимо от количества
Рис. 3.30. Длительность отдельных операций при решении вопросов
теста закрытого типа при правильном и неправильном решении.
Обозначения: по оси абсцисс представлены номера операций, по оси
ординат – длительность операции, в с
115
Глава 3. Разработка и апробация алгоритмов и методов…
этапов решения сопровождалось достоверным укорочением
второго этапа, а при решении в три этапа – второго и первого.
Поскольку именно второй этап был связан с чтением вариантов ответа, качественное решение на данном этапе было критичным. Кроме того, отсутствие удлинения любого из этапов
решения независимо от его правильности подтверждает незначительный вклад рабочей памяти в решение данного типа задач.
Следовательно, при выполнении простых закрытых тестов
основным параметром, позволяющим оценить уровень сформированности компетенции и уровень вовлечения когнитивных процессов, является длительность нахождения студента
на втором этапе деятельности, связанной с чтением вариантов
ответа на задание.
Поэтому для данного параметра также целесообразно определение усредненных значений:
∑ TO2
TO2m = . (3.17)
В ситуации, если в блоке заданий используются задания
i
N
одинаковой сложности, для балльной оценки вклада долговременной памяти может использоваться параметр ΔTO2, отражающий отклонение длительности выполнения второго TO2i
этапа решения каждого задания у данного студента от усредненных значений TO2m. При этом, как и в случае с STm, возможно укорочение, удлинение каждого из этапов, а также соответствие их усредненным значениям:
TO2
ΔTO2 = . (3.18)
TO2
i
m
Количество NOm и длительность операций TO1m è TO2m при
правильных ответах на сложные задания имеют обратную динамику – с увеличением количества операций происходит сокращение длительности всех этапов, но в особенности первого и второго. Вероятно, это связано в переносе принятия окончательного решения о правильности ответа с начальных этапов на конечные.
Вследствие этого для оценки вклада рабочей и долговременной памяти, помимо направленности изменений ΔTO1 è ΔTO2,
необходимо учитывать их сочетание, так как одно- и разнона-
116
3.2. Алгоритмы и методы оценки умений
правленное изменение двух параметров будет отражать разный вклад долговременной и рабочей памяти.
Для оценки вклада длительности этапов в вовлечение долговременной памяти ΔTOLM возможно применение следующих
нормативов:
(ΔTO1 = 1) + (ΔTO2 < 1),
ΔTO
=
LM
(ΔTO1 < 1) + (ΔTO2 = 1),
(ΔTO1 = 1) + (ΔTO2 = 1).
(3.19)
Таким образом, на основании анализа поведенческих маркеров когнитивных процессов, связанных с решением тестов
закрытого типа, были выведены следующие формулы для
оценки вклада долговременной памяти и произвольного внимания.
Долговременная память:
LM = ΔRt + (ΔSTLM + ΔTOLM) · k. (3.20)
Произвольное внимание:
A = SA + ΔNO. (3.21)
Разработка методов оценки когнитивных процессов
при выполнении ситуационных и компетентностных задач
Для решения ситуационных и компетентностных заданий
одним из основных критериев оценивания является правильность ответа на вопрос. Поскольку ответ на задание требовал написания текстового ответа, для его оценивания, помимо экспертного анализа преподавателем содержания текста,
а также для оценки вклада когнитивных процессов могут использоваться два параметра.
Усредненное количество терминов Vm (в %) от определенных преподавателем. Данный параметр показывает уровень
освоенности теоретического материала (ситуационная задача)
и способность к его применению в ситуации анализа данных
(компетентностная задача). При этом возможно определение
обязательного количества применения специализированных
терминов курса и общенаучных терминов. Vm может быть рассчитан по формуле
117
Глава 3. Разработка и апробация алгоритмов и методов…
∑ V
Vm = · 100 %, (3.22)
i
N
ãäå Vm – усредненное количество терминов, применяемых студентом; Vi – количество терминов, применяемых при решении
каждого i-го задания; N – количество заданий.
На рис. 3.31 представлено усредненное количество терминов V
при решении ситуационных и компетентностных за-
m
дач в группе участников. Для вербальных задач количество
использованных терминов составляло 39,7 % и 37,6 % соответственно. При решении ситуационных образных задач использовалось 60,4 % терминов, а при решении компетентностной – 48,8 %. При этом следует учесть, что решение ситуационной образной задачи отличалось высокой вариабельностью – количество терминов варьировало от 0 (при отсутствии
ответа на вопрос) до 100 % (при абсолютно правильном ответе).
Рис. 3.31. Усредненное количество терминов Vm при решении
ситуационных и компетентностных задач в группе участников.
Обозначения: по оси абсцисс – тип задачи, по оси ординат –
количество использованных терминов, %
С этой позиции информативным будет выступать параметр
ΔV, отражающий отклонение среднего количества терминов,
использованных студентом при выполнении каждого задания
Vm от эталонных значений Vr, заданных преподавателем:
V
ΔV = , (3.23)
118
m
V
r
3.2. Алгоритмы и методы оценки умений
ãäå Vr – эталонное количество терминов; Vm – усредненное количество терминов для данного типа задач.
При этом при разработке нормативов для ΔV возможны следующие ситуации:
< 1 ïðè Vm < Vr ,
ΔV =
1 ïðè V
>1 ïðè V
= Vr ,
m
> Vr .
m
(3.24)
Ïðè ΔV < 1 è ΔV = 1 данный параметр будет отражать
вклад долговременной памяти в решение заданий (ΔVLM).
Ограничением применимости данного параметра станет возможность замены термина синонимичным или применение общенаучной лексики вместо требуемого термина. В данном случае большую роль будет играть содержание задачи и заранее
определенная преподавателем вероятность замены термина.
Если задание не подразумевает замены термина (к примеру,
название анатомической или клеточной структуры), то данная ситуация может расцениваться как недостаточная самоподготовка студента. Для оценки количества проведенных замен и самой вероятности замены термина необходимо использовать следующие параметры и критерии.
Усредненное количество замен терминов для данного типа
задач:
∑ Ch
Chm = , (3.25)
i
N
ãäå Chm – усредненное количество замен терминов для данного типа задач; Chi – количество замен при решении каждого
i-го задания.
В качестве нормированной оценки вероятности замены термина и ее корректности можно использовать следующие нормативы:
1 при корректной замене,
Ch =
0 при отсутствии замены,
–1 при некорректной замене.
(3.26)
119
Глава 3. Разработка и апробация алгоритмов и методов…
Отсюда вероятность замены одного термина Ch и ее корректность также может выступать для оценки уровня знаний
и для оценки вклада рабочей и долговременной памяти.
С учетом вероятности замены термина для параметра ΔV
при оценке для каждой задачи расчет будет выглядеть следующим образом:
V
ΔV = – Chm, (3.27)
i
V
r
ãäå Vi – количество терминов, применяемых при решении каждого i-го задания; Vr – эталонное количество терминов; Chm –
среднее количество замен для данного студента.
Ситуация ΔV > 1 связана с тем, что при решении компетентностных задач использование всех предлагаемых терминов и/или их корректной замене может сопровождаться применением терминов из смежных областей науки, которые студент изучает при освоении других дисциплин и при изучении
литературы, выходящей за пределы определенного преподавателем списка источников. При этом новые термины используются не в качестве синонимичных, а самостоятельно.
Для учета возможности данной ситуации необходимо ввести понятие V_new как абсолютное значение количества новых терминов. Данный параметр будет характеризовать уровень вовлечения рабочей и долговременной памяти. Для корректного учета значений данного параметра необходимо ввести стандартизированное значение как отношение количества
новых терминов к эталонному:
ΔV_new = , (3.28)
V_new
V
r
ãäå V_new – количество новых терминов, применяемых при решении каждого i-го задания; Vr – эталонное количество терминов.
Ситуация, при которой количество новых терминов V_new
будет превышать заданное преподавателем эталонное количество Vr, расценивается нами как маловероятная. Поэтому значения параметра ΔV_new будут находиться в пределах от 0
(при отсутствии новых терминов) до 1.
Применение данного параметра позволяет оценить уровень
вовлечения долговременной памяти, так как именно с ней бу-
120
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]