Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.2. Алгоритмы и методы оценки умений
дет связано сохранение знаний в процессе самоподготовки,
и содержание эталонного ответа, а также рабочей памяти, где
происходит формирование текущего варианта ответа. При выполнении любого задания вовлекаются оба вида памяти, но по
психофизиологическим параметрам и параметрам набора ответа можно предполагать разный вклад каждого из них. При
этом для определения вклада когнитивных процессов, помимо количества терминов, большую роль будет играть время
выполнения задания, а также – в качестве вспомогательного – количество символов при наборе ответа. Следовательно,
в условиях оценки вклада рабочей и долговременной памяти
данные когнитивные процессы будут характеризоваться разным вкладом количества терминов.
Вклад ΔV в оценку долговременной памяти (ΔVLM) может
происходить в следующих ситуациях:
– ΔV = 1, Ch = 0, ΔV_new = 0. В этом случае студент исполь-
зует все эталонные термины без замен и без привлечения новых понятий. Данная ситуация может расцениваться как хороший уровень самоподготовки студента, достаточное знание
специализированных терминов.
– ΔV < 1, Ch = 0, ΔV_new = 0. Ситуация, когда количество
специализированных терминов меньше количества определенного преподавателем, попытки подбора синонимичных терминов и привлечения новых понятий не происходит. Данная ситуация может расцениваться как недостаточный уровень самоподготовки студента, недостаточное знание материала.
– ΔV < 1, Ch = 1, ΔV_new = 0. Ситуация, когда количество
специализированных терминов меньше количества определенного преподавателем, но происходит корректная попытка подбора терминов. Данная ситуация также может расцениваться
как недостаточный уровень самоподготовки студента, однако
вклад долговременной памяти в этом случае будет выше ввиду правильного подбора синонимов.
– ΔV < 1, Ch = 1, ΔV_new = 0. Ситуация, когда количество
специализированных терминов меньше количества определенного преподавателем и происходит некорректная попытка
подбора терминов. Данная ситуация характеризует наиболее
низкий уровень самоподготовки студента и слабый уровень
вовлечения долговременной памяти.
121
Глава 3. Разработка и апробация алгоритмов и методов…
Отсюда с учетом коэффициентов сложности h и правильности ответов k формула для оценки уровня вовлечения долговременной памяти будет иметь вид:
LM = ΔV
· h · k + ∑ Chi. (3.29)
LM
В то же время необходимо учитывать, что ситуация, при
которой происходит корректная замена целевого термина синонимичным, связана с активным привлечением ресурсов рабочей памяти; увеличение количества таких замен отражает рост вовлечения ресурсов рабочей памяти. Также о росте
вклада рабочей памяти можно говорить при общем увеличении количества применяемых терминов (ΔV > 1; ΔVLM).
С учетом этого, а также коэффициентов сложности h è ïðà-
вильности ответов k формула для оценки уровня вовлечения
рабочей памяти (WM) будет иметь следующий вид:
WM = (Vm + ΔVLM) · h · k + ∑ Ch + ΔV_new. (3.30)
Количество символов S
N
Данный параметр наиболее применим для компетентностных задач, поскольку содержание ситуационных задач требует формулировки достаточно сжатого ответа. При решении
компетентностных задач количество элементов характеризует уровень владения письменной речью. На данный параметр
большое влияние оказывает само содержание задачи (работа
с текстом, работа с рисунком, написание научного отчета, расшифровка термина и т. д.). При необходимости учета данного параметра следует ввести нормативные значения, отвечающие содержанию и сложности задачи. При этом важно учитывать правильность ответа на вопрос и сложность задания. Отсюда уровень владения письменной речью (WS) как когнитивный процесс будет оцениваться следующим образом:
S
WS = SN = · h · k, (3.31)
i
S
r
ãäå SN – нормированное количество символов; Si – количество
символов, использованное при решении каждой i-й задачи,
Sr – эталонное количество символов, заданное преподавателем;
k – коэффициент правильности; h – коэффициент сложности.
122
3.2. Алгоритмы и методы оценки умений
В результате для оценки уровня письменной речи можно
применить следующие нормативы:
< 1 при Si < SN число символов < нормы,
WS =
1 ïðè S
> 1 при S
= SN число символов = норме,
i
> SN число символов > нормы.
i
(3.32)
В обследованной группе наименьшее число символов применялось при выполнении ситуационной образной задачи. Это
также может быть связано с тем, что ответ на данный вопрос
подразумевал жесткое перечисление набора заданных терминов без возможности отклонения от них ввиду однозначности
названия анатомических структур. Сходное количество символов применялось при наборе ответа на вербальную ситуационную и образную компетентностную задачи. Максимальное
число символов показано при формулировке ответа на вербальные компетентностные задачи.
Усредненное время выполнения одной ситуационной или
компетентностной задачи
Расчет значения усредненного времени выполнения производится как соотношение суммарного времени решения заданий к их общему количеству по формуле
∑ ST
STm = , (3.33)
i
N
ãäå STm – усредненные значения времени решения отдельных
задач; STi – время решения каждого i-го задания; N – общее ко-
личество решенных заданий.
На рис. 3.32 приведены усредненные значения времени выполнения ситуационных компетентностных задач STm.
Особенностью оценки когнитивных процессов при выполнении текстовых задач является малая информативность времени решения данных заданий для понимания вклада когнитивных процессов. Это связано с высокой сложностью самих
заданий, большой ролью творческого компонента при их выполнении и необходимости одновременного вовлечения целого
спектра когнитивных процессов.
123
Глава 3. Разработка и апробация алгоритмов и методов…
Рис. 3.32. Усредненные значения времени выполнения
ситуационных и компетентностных задач ST
абсцисс – тип задачи, ось ординат – время решения, с
. Обозначения: ось
m
В ситуации, если в блоке заданий используются задания
одинаковой сложности, для балльной оценки вклада долговременной и рабочей памяти может использоваться параметр
ΔST, отражающий отклонение времени решения каждого зада-
íèÿ STi у данного студента от усредненных значений STm.
Использование в качестве эталонного усредненных, а не заданных заранее временных интервалов связано с зависимостью данного параметра не только от сложности и содержания задания, но и от индивидуальных свойств нервной системы студента, в частности от соотношения процессов возбуждения и торможения. При этом возможны следующие ситуации:
– STi < STm: укорочение времени решения задания в сравнении с усредненными значениями;
– STi = STm: соответствие времени решения задания усредненным значениям;
– STi > STm : удлинение времени решения задания в сравнении с усредненными значениями.
< 1 ïðè STi < STm,
ΔST =
1 ïðè ST
>1 ïðè ST
= STm,
i
> STm .
i
(3.34)
Ïðè ýòîì ïðè ΔST < 1 è ΔST = 1 данный параметр будет
отражать вклад долговременной памяти в решение заданий
124
3.2. Алгоритмы и методы оценки умений
(Δ STLM). Увеличение STi связано с дополнительной обработкой
имеющейся информации и ее адаптацией под задачу. Поэтому
при ΔST > 1 данный параметр начинает характеризовать вклад
рабочей памяти (ΔSTWM).
При требуемом освоении компетенции уровень сложности
задания значимо не влияет на время выполнения стандартизированных тестовых заданий закрытого типа. При получении правильного ответа увеличение времени решения может
отражать затруднения в формулировании ответа, а укорочение – субъективной легкостью задания. Все это связано с различным вкладом рабочей и долговременной памяти.
Поскольку получение неправильного ответа предполагает
отсутствие должного уровня самоподготовки студента, а также в случае использования тестовых заданий разного уровня
сложности для более корректного оценивания уровня вклада каждого вида памяти в реализацию задания, возможно использование, помимо коэффициентов правильности k и сложности h, также и коэффициента своевременности t:
1 при сдаче задания в указанный срок или ранее,
t =
0 при сдаче задания позднее указанного срока.
(3.35)
Количество этапов
В случае выполнения ситуационных и компетентностных
задач количество этапов решения NOi может быть меньше, чем
при решении тестов. В условиях моделирования образовательной деятельности в рамках психофизиологического обследования количество этапов решения варьировало от 1 до 2.
Фактически деятельность могла разделяться только на два
этапа – чтение задания и написание ответа на него. Это связано с длительностью решения на каждом этапе и возможностью смыслового перекрывания ввиду начала формулирования ответа уже при чтении задания. При этом количество этапов решения также не коррелирует с правильностью ответа.
Вероятно, если ситуация требует постоянного переключения
между программными средами, с использованием которых
происходит решение задачи (если необходимо проводить и написание текста, и анализ литературных данных, и статисти-
125
Глава 3. Разработка и апробация алгоритмов и методов…
ческую обработку), то в качестве аналога количества операций
можно использовать число таких переключений.
Следовательно, в условиях моделирования решения ситуационных и компетентностных задач в качестве нормативного
может использоваться количество этапов NO = 2.
– Ïðè NOi = 2 происходит последовательное ознакомление
студента с заданием ситуационной и компетентностной задачи, а также переход к формулированию и набору ответа.
– Ïðè NOi = 1, вероятно, будет сокращаться или комплексироваться стадия чтения, что в условиях правильного ответа
свидетельствует о простоте задания, а в условиях неправильного – отказ от его выполнения или переход к приблизительному ответу.
Поскольку, исходя из разработанного ранее подхода, количество переключений NOi отражает вклад рабочей памяти,
формула для ее расчета будет следующая:
WM = (Vm + ΔVLM + ΔSTWM · t) · h · k + ∑Ch + ΔV_new + NOi · k. (3.36)
Длительность 1-го и 2-го этапов решения
Данный параметр также определяет время нахождения
участника на отдельных этапах выполнения тестового задания (чтение вопроса и первичный анализ задания – формулирование ответа и написание текста). Можно полагать, что правильный ответ будет требовать некоторого оптимального соотношения длительности этапов. Это связано с тем, что принятие решения о правильности ответа начинается уже на этапе
просмотра вариантов и именно тогда происходит первоначальный выбор. Дальнейшее подтверждение приводит к сокращению длительности операций.
В обследованной группе достоверно более короткая длительность данного фрагмента показана для ситуационных вербальных задач в сравнении с остальными. Длительность данного этапа при решении образных ситуационных задач была
выше. Для компетентностных задач обоих типов достоверных
различий не выявлено (рис. 3.33, 3.34).
126
3.2. Алгоритмы и методы оценки умений
Рис. 3.33. Усредненная длительность первого этапа решения TO1m
в зависимости от типа и сложности задачи. Обозначения: по оси
абсцисс – тип задачи, по оси ординат – длительность этапов, с
Рис. 3.34. Усредненная длительность второго этапа решения TO2m
в зависимости от типа и сложности задачи. Обозначения: ось
абсцисс – тип задачи, ось ординат – длительность этапов, с
Для 2-го этапа выявлено увеличение длительности данного этапа для вербальных компетентностных задач в сравнении с ситуационными; для образных задач подобной динамики не выявлено.
Поэтому структура тестового задания и модельного математического примера позволяет предполагать критичность для
успешного выполнения первого и второго этапов, для данных
параметров также целесообразно определение усредненных
значений. Усредненные значения длительности первого этапа
могут быть рассчитаны по формуле
∑ TO1
TO1m = , (3.37)
i
N
ãäå TO1m – усредненная длительность первого этапа решения;
TO1i – длительность первого этапа решения каждого i-ãî çàäà-
íèÿ; N – число заданий.
127
Глава 3. Разработка и апробация алгоритмов и методов…
Аналогично, усредненные значения длительности второго
этапа могут быть рассчитаны по формуле
∑ TO2
TO2m = , (3.38)
i
N
ãäå TO2m – усредненная длительность второго этапа решения;
TO2i – длительность второго этапа решения каждого i-ãî çàäà-
íèÿ; N – число заданий.
Можно предполагать, что усложнение задания приведет
к увеличению длительности этапов. Отклонение значений
данного параметра от TO1m и TO2m соответственно будет отражать степень и направление изменений каждого параметра
и может оцениваться по следующим формулам:
– TO1
TO1
i
ΔTO1 =
TO1
m
, (3.39)
m
ãäå TO1m – усредненная длительность первого этапа решения;
TO1i – длительность первого этапа решения каждого i-ãî çàäà-
íèÿ.
Аналогично:
ΔTO2 =
TO2i – TO2
TO2
m
, (3.40)
m
ãäå TO2m – усредненная длительность второго этапа решения;
TO2i – длительность второго этапа решения каждого i-ãî çàäà-
íèÿ.
При этом вычисляется доля отклонения от среднего значения, которая и является характеристикой доминирования
долговременной или рабочей памяти:
< 0 при TO1i < TO1m,
ΔTO1 =
0 ïðè TO1
>0 при TO1
= TO1m,
i
> TO1m .
i
(3.41)
< 0 при TO2i < TO2m,
ΔTO2 =
0 ïðè TO2
>0 при TO2
= TO2m,
i
> TO2m .
i
(3.42)
При этом, поскольку при решении ситуационных задач
основное решение связано с первым этапом, изменение его
128
3.2. Алгоритмы и методы оценки умений
длительности является маркером уровня вовлеченности долговременной памяти. Соответственно, отклонение ΔTO1(ΔTO1LM)
в сторону снижения значений отражает снижение вклада долговременной памяти, а в сторону увеличения значений – рост
ее вовлеченности.
В свою очередь, поскольку на втором этапе происходит
формирование текста ответа и его набор в документе, основную роль играет рабочая память. Соответственно, отклонение
ΔTO2(ΔTO2WM) в сторону снижения значений отражает сниже-
ние вклада рабочей памяти, а в сторону увеличения значений – рост ее вовлеченности.
Это объясняется тем, что содержание относительно несложной ситуационной задачи требовало одно-двухкратного прочтения условия (формулировка которого не допускала неоднозначной трактовки), после чего происходит переход к написанию ответа на вопрос. Это является измерением времени нахождения эталонного ответа в долговременной памяти. Также это может являться маркером более значимого вовлечения
произвольного внимания. Усложнение условия задания, необходимость его тщательного анализа приводило к необходимости больших затрат времени для тщательного анализа предлагаемого рисунка и сравнения его с эталоном в долговременной памяти. Общее увеличение длительности решения в целом и второго этапа в частности связано с ростом загрузки рабочей памяти за счет необходимости запоминания задания,
его анализа и формирования ответа с использованием информации в долговременной памяти.
Для компетентностных задач, где ввиду творческого характера задания, необходимости синтеза информации из различных тем, а также различных областей биологических наук решение происходило на обоих этапах и связано с включением обоих видов памяти. В то же время изменение длительности этапов преимущественно отражало доминирование рабочей памяти, так как задача предполагала отсутствие готового эталона ответа и необходимость его формирования с учетом
имеющихся знаний.
Напротив, рост длительности второго этапа для компетентностной задачи мог выступать в качестве маркера уровня загрузки рабочей памяти в связи с необходимостью чтения боль-
129
Глава 3. Разработка и апробация алгоритмов и методов…
шого объема текстового материала, рассмотрения сложного
составного рисунка или сочетанием обоих видов деятельности. Общее увеличение длительности решения в целом и второго этапа в частности связано с ростом загрузки рабочей памяти за счет необходимости запоминания задания, его анализа и формирования ответа с использованием информации
в долговременной памяти.
Для второго этапа также необходимо учитывать влияние
сложности задания и правильности ответа – при решении
компетентностных заданий длительность этапа была достоверно выше.
Анализ динамики значений СМ ЭЭГ в сравнении с состоянием «Фон ОГ» показал, что независимо от сложности задачи происходила достоверная десинхронизация (рис. 3.35).
При сравнении различных этапов деятельности было выявлено, что уровень синхронизации активации был выше для ситуационных задач.
Рис. 3.35. Объединенные топографические карты значений
спектральной мощности диапазонов ЭЭГ при решении
ситуационных и компетентностных задач
В рамках первого этапа для данного типа задач происходила дельта- и тета-активация, а на втором этапе – десинхронизация. Это также является подтверждением значительного включения системы долговременной памяти на первом этапе и менее значительного – рабочей памяти на втором. Иная
ситуация выявлена для компетентностных задач, где уровень синхронизации достигался на первом этапе и сохранялся на втором. При этом уровень синхронизации в целом был
ниже, что отражало именно роль рабочей памяти. Так как
наблюдалась противоположная динамика в виде снижения
130
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]