Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
трольной работы, по результатам предыдущих исследований,
не коррелировали с успешностью образовательной деятельности и порядковым номером учебного дня, и в данном исследовании не анализировались.
Классификация типов работ проводилась на основании
вида программы и по наименованию открытого документа.
Для каждого сеанса работы с данной программой рассчитывалась его длительность. Продолжительность рабочих сессий
не ограничивалась. За работу студенты получали традиционную оценку по пятибалльной системе по результатам экспертной оценки преподавателя.
Для оценки уровня сформированности образовательной
компетенции ОПК-4 при выполнении контрольных работ анализировалось время выполнения одного вопроса, количество
использованных терминов и академическая оценка. Также отдельно оценивались наличие плагиата и его доля по данным
системы «Антиплагиат ВУЗ». Для выполнения тестов информативными оказались такие параметры, как время выполнения одного вопроса теста и общий процент правильных ответов.
При анализе академических оценок студентов было выяснено, что по данному критерию вся группа может быть разделена на успешных и неуспешных студентов. В подгруппе неуспешных студентов средняя академическая оценка по пятибалльной системе составляла 1,8±0,14 балла (от 0 до 2,5 балла). При этом в данной подгруппе отмечались случаи отказа от выполнения образовательных задач или формулирование предельно краткого ответа на вопрос. В подгруппе успешных студентов средняя академическая оценка по пятибалльной системе составляла 3,9±1,0 балла (от 3,5 до 5 баллов).
На рис. 3.6 приведено графическое представление соотношения академической успеваемости студентов.
На рис. 3.7, А показано усредненное время написания ответа на один вопрос контрольной работы. Из рисунка следует,
что при успешном ответе время решения составляло в среднем 7,5 мин и было достоверно более длительным в сравнении
с неуспешным ответом (5 мин).
В подгруппе неуспешных студентов показана слабая положительная корреляция времени написания ответа на один во-
61
Глава 3. Разработка и апробация алгоритмов и методов…
Рис. 3.6. Усредненные значения академической оценки студентов
в двух подгруппах разной успешности. Обозначения: по оси абсцисс
отмечены группы студентов, по оси ординат – академическая
оценка, в баллах. Знаком «*» отмечены достоверно различившие
значения
А Б
Рис. 3.7. Показатели контрольной работы в двух подгруппах
студентов разной успешности для одного вопроса.
Обозначения: по оси абсцисс отмечены группы студентов, по оси
ординат – время решения, с. Знаком «*» отмечены достоверно
различившие значения; А – усредненные значения времени
написания ответа; Б – усредненная доля использованных
специализированных терминов при написании ответа
прос контрольной работы и академической оценкой (r = 0,4).
Для успешных студентов значимой корреляции не выявлено.
62
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
При дальнейшем анализе было выяснено, что данные подгруппы различались также количеством использованных специализированных терминов. Количество терминов оценивалось как доля использованных студентов терминов в процентах от установленного преподавателем для этого раздела работы. На рис. 3.7, Б представлено процентное соотношение
данного параметра для обеих подгрупп студентов. Из рисунка
следует, что успешные студенты приводили, уточняли и использовали для написания ответа в среднем 74,5±2,7 % терминов от общего их количества. Для неуспешных студентов значение этого показателя было достоверно более низким
(52,5±2,9 %).
Кроме того, в подгруппе успешных студентов показана
слабая отрицательная корреляция времени написания ответа на один вопрос контрольной работы и доли использованных терминов (r = –0,38). Напротив, в подгруппе неуспешных
студентов выявлена средняя положительная корреляция между значениями данных показателей (r = 0,53). Вероятно, это
можно объяснить следующим образом.
Для успешных студентов отмечены попытки замены специализированного термина общенаучными формулировками.
Это не искажало смысл ответа и не оценивалось как ошибочное применение терминологии (поскольку отражало понимание студентом сути биологического процесса или явления).
Однако подбор правильного синонима удлинял время формулирования ответа на один вопрос. Противоположная зависимость в подгруппе неуспешных студентов отражала возможность адекватного ответа на вопрос контрольной работы только при требуемом уровне знаний специализированных терминов. В данной подгруппе уровень освоенности терминов был
ниже, что показывало отсутствие попыток подбора синонимичных знаний и объяснений с применением общенаучных
терминов.
Таким образом, в качестве маркеров, позволяющих оценить
уровень знаний студентов при выполнении ими контрольных
работ, может использоваться время написания ответа на один
вопрос, количество и правильность применяемых терминов,
а также уровень плагиата.
63
Глава 3. Разработка и апробация алгоритмов и методов…
Успешные студенты характеризовались полным и безошибочным использованием специализированных терминов, более
длительным временем написания ответа на один вопрос контрольной работы и отсутствием значимой доли плагиата.
При выполнении тестов закрытого типа, решение которых требовало сделать выбор варианта ответа из предлагаемых, по результату анализа успешности выполнения было выяснено, что по данному критерию вся группа студентов также может быть разделена на успешных и неуспешных. Необходимо отметить, что, как и при выполнении контрольных работ, группа разделилась пополам; студенты, показавшие неудовлетворительное качество выполнения контрольных работ,
продемонстрировали столь же низкие результаты и при решении тестов. Таким образом, сходство уровня академической
оценки при выполнении двух разных типов контрольной деятельности может выступать критерием уровня освоенности
компетенции.
В подгруппе неуспешных студентов средний уровень
успешности выполнения тестов как процент правильных ответов от общего числа вопросов составлял 56,7±1,74 % (от 32 до
68 %). В подгруппе успешных студентов средняя академическая оценка по пятибалльной системе составляла 84±1,2 %
(от 72 до 96 %). На рис. 3.8 приведено графическое представление соотношения академической успеваемости студентов.
Рис. 3.8. Усредненные значения успешности выполнения тестов
в двух подгруппах студентов. Обозначения: по оси абсцисс отмечены
группы студентов, по оси ординат – доля правильных ответов,
в %. Знаком «*» отмечены достоверно различившие значения
64
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
На рис. 3.9 показано усредненное время выбора ответа
на один вопрос контрольной работы. Из рисунка следует, что
при успешном ответе время решения составляло в среднем
55±3 с и было достоверно более длительным в сравнении с неуспешным ответом (34±3 с).
В подгруппе неуспешных студентов показана отрицательная корреляция времени выбора правильного ответа на вопрос
теста и общей успешностью времени выполнения (r = –0,54).
Для успешных студентов, напротив, показана слабая положительная корреляция между значениями данных показателей
(r = –0,41).
Рис. 3.9. Усредненные значения времени выбора варианта
ответа на один вопрос теста в двух подгруппах студентов разной
успешности. Обозначения: по оси абсцисс отмечены группы
студентов, по оси ординат – время выбора варианта ответа, с.
Знаком «*» отмечены достоверно различившие значения
Можно видеть, что полученная в настоящем исследовании динамика показателей эффективности выполнения образовательной деятельности, оцениваемая на основании написания контрольных работ, была сходна с таковой, полученной нами в условиях моделирования образовательного процесса в ситуации психофизиологического эксперимента. Это позволяет утверждать правильность подбора тестовых заданий
и экспериментальной ситуации, позволившей довольно точно
воссоздать процесс выполнения студентами контрольных работ. В обоих случаях неуспешные студенты ввиду слабых зна-
65
Глава 3. Разработка и апробация алгоритмов и методов…
ний специализированной терминологии показывали меньшее
время выбора варианта ответа при решении тестов, что, в совокупности с низким качеством решения, позволяет предполагать угадывание ответа. Напротив, более длительное время выполнения тестов у успешных студентов позволяет предполагать тщательный анализ предлагаемого задания и написание ответа, что обеспечивало эффективность деятельности.
Обратная динамика значений времени выполнения блока
заданий и отдельных вопросов контрольной работы также связана с различным знанием терминов. Неуспешные студенты
тратили мало времени на написание текстов контрольных работ ввиду слабого владения учебным материалом, что не позволяло им написать развернутый ответ на вопрос, провести анализ и обобщение предлагаемой биологической задачи,
а также сделать выводы из предлагаемых модельных задач
и практических данных. Многие вопросы контрольных работ
данными студентами не решались вовсе именно по этим причинам. Напротив, успешные студенты в результате тщательной самоподготовки, овладевшие учебным материалом в необходимом объеме, давали развернутые подробные ответы на вопросы контрольных работ с низким уровнем плагиата.
Правильное применение специализированных терминов
позволяет, помимо оценки уровня освоенности дисциплины,
оценить навыки анализа и обобщения понятий, способности
их применения к решению модельных задач. Также способностью к правильному применению терминов может объясняться скорость решения вопросов теста в группах с разной успешностью образовательной деятельности.
Вероятно, выявленные различия освоения учебной информации в целом и специализированных терминов в частности
и объясняет противоположную динамику значений времени выполнения блоков заданий и отдельных вопросов тестов
и контрольных работ в группах с разной успешностью образовательной деятельности.
На основании этого можно предполагать различную стратегию деятельности в данных группах студентов. Поскольку
вопросы были сформулированы достаточно жестко и сжато,
формулировка ответа требовала прочного владения теоретиче-
66
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
ским материалом. За исключением задач, содержащих практические результаты экспериментов, ответ на вопрос заключался в решении физиологической задачи на основании изученного ранее материала. Низкая оценка сопровождалась невысокими значениями времени написания ответа, существенно более низким, чем при высокой академической оценке.
Данный подход к выполнению образовательной задачи был
признан наименее эффективным и оценивался низко. Вероятно, в этом случае низкий уровень самостоятельной внеаудиторной подготовки сопровождался низкой мотивацией к выполнению задания. Высокое качество выполнения работы сопровождалось длительным временем написания ответа на вопрос контрольной работы и коротким временем выбора ответа
на вопрос теста, тогда как для низкого качества выполнения
работы показана противоположная динамика.
Незаинтересованность студентов, быстро сдавших свои работы, подтверждалась высокой корреляцией оценки преподавателя с общим временем выполнения заданий. Обнаруженные зависимости могут сглаживаться за счет поверхностно
выполняемых работ при низкой мотивации или дефиците времени.
Следует отметить различное соотношение времени выполнения вопросов теста закрытого типа в условиях моделируемого и реального образовательного процесса. В модельных
условиях более длительное время ответа на один вопрос теста показано при неуспешном решении, а в реальных – при
успешном. Оба фактора могут объясняться неудовлетворительным знанием специализированных терминов у неуспешных студентов, вынуждавшем их переходить на угадывание
ответа при настоящем тесте, и попытки припомнить значения
терминов – в моделируемом.
Необходимо также отметить, что для обеих групп показано
общее снижение времени выполнения данного типа заданий
при модельном решении в сравнении с реальным, что отражало меньшее влияние психоэмоционального напряжения (ввиду отсутствия реальной академической оценки).
67
Глава 3. Разработка и апробация алгоритмов и методов…
3.2. Алгоритмы и методы оценки умений
В сфере естественнонаучного образования об уровне освоенности компетенции можно судить по способности студента решать модельные, ситуационные и профессиональные задачи
на основе использования теоретической и практической информации (Гавронская, 2008). При этом формирование устойчивой компетенции происходит при тесном взаимодействии
студента и интерактивной образовательной среды с обязательной обратной связью со стороны преподавателя. Отсюда важнейшим и обязательным условием правильного формирования компетенции является учет индивидуального стиля обучения студента и его личностных особенностей (Гавронская,
2008; Сорокина, 2012). При таком подходе студент имеет возможность осваивать учебный материал на основании индивидуальных свойств мышления и типа личности; в этом случае
стилевые особенности обучения являются устойчивой характеристикой конкретного обучающегося (Сорокина, 2012).
В настоящее время нейрональные основы академической
деятельности независимо от ее успешности изучены крайне
слабо. Данная информация практически не представлена как
в отечественной, так и в зарубежной литературе.
Не вызывает сомнений тесная связь протекания процесса
обучения вербальным навыкам и уровня активации (Skran-Skrandies, Klein, 2015). За счет необходимости сохранения и ак-, Klein, 2015). За счет необходимости сохранения и ак-Klein, 2015). За счет необходимости сохранения и ак-, 2015). За счет необходимости сохранения и актуализации информации в данном процессе играют важную
роль правые префронтальные и центро-париетальные области
правого полушария (Skrandies, Klein, 2015). Можно предпола-Skrandies, Klein, 2015). Можно предпола-, Klein, 2015). Можно предпола-Klein, 2015). Можно предпола-, 2015). Можно предполагать, именно в данной нейросети находятся нейронные механизмы, связанные с приобретением новых знаний, а также актуализации освоенных ранее (van Kesteren et al., 2014). У студентов естественнонаучных специальностей точная кодировка
и извлечение более ранней информации связывается с большей активацией префронтальной коры, тогда как освоение
принципиально новой для субъекта информации – увеличением активации височной коры и взаимодействия между данными областями (van Kesteren et al., 2014).
Для студентов с высоким уровнем образовательных достижений наблюдается возрастание плотности белого вещества
в области мозолистого тела, а также серого вещества в била-
68
3.2. Алгоритмы и методы оценки умений
теральных угловых, дорзальных затылочных областях, средневисочной и верхневисочной извилинах, связанных, прежде
всего, с функцией чтения. Хорошо успевающие студенты также показывали повышенную активность в центральных зонах
мозга, связанных с памятью, вниманием и нейрогенезом, тогда как у студентов с низкой успеваемостью преимущественно
активировались зоны, связанные с моторными и соматосенсорными функциями (Kim et al., 2016).
Это позволяет предполагать важность для успешного обучения функциональной взаимосвязи билатеральных угловых
извилин, оказывающих нисходящее модулирующее влияние
на активность левой дорзальной затылочной области, а также
височных извилин (Carreiras et al., 2009). Данный эффект до-et al., 2009). Данный эффект до- al., 2009). Данный эффект до-al., 2009). Данный эффект до-., 2009). Данный эффект достигался не за счет исходно большей плотности серого вещества в указанных областях, а за счет более интенсивного формирования синаптических связей, их упрочнения и сохранения (Kim et al., 2016).
Данное явление не выявлено для студентов гуманитарных
специальностей, и может отражать влияние именно образовательного контента (van Kesteren et al., 2014; Skrandies, Klein,
2015). Это также рассматривается как механизм адаптации
мозга к образовательному процессу (Kim et al., 2016). Увели-et al., 2016). Увели- al., 2016). Увели-al., 2016). Увели-., 2016). Увеличение медиально-префронтального взаимодействия также является предиктором уровня индивидуальной производительности студента (van Kesteren et al., 2014; Skrandies, Klein,
2015).
Для студентов естественнонаучных и технических специальностей имеется предположение об отражении в балансе активации медиальной височной и медиальной префронтальной
коры эффективности кодирования новой информации, ее консолидации и последующего извлечения (Angel et al., 2010;
Panda et al., 2014; van Kesteren et al., 2014).
Активация в передней цингулярной коре также связывается с самостоятельной детекцией ошибок и привлечением ресурсов когнитивного контроля для их исправления (Hirsh,
Inzlicht, 2010). Данная активация зависит от уровня ошибоч-, 2010). Данная активация зависит от уровня ошибочного решения, а ее исправление является прогностическим
признаком высокого уровня сформированности компетенции
студента, так как отражает индивидуальные механизмы ког-
69
Глава 3. Разработка и апробация алгоритмов и методов…
нитивного контроля (Hirsh, Inzlicht, 2010). Кроме того, при
работе с вербальным учебным материалом самостоятельное исправление ошибочного решения приводит к увеличению скорости и точности выполнения последующих заданий (Desmet
et al., 2012).
В детекции ошибок также участвуют передняя поясная
кора и дополнительная моторная зона, активация которых
определяет уровень расхождения между верным и неверным
ответом (Yeung et al., 2004). Область дорзальной поясной
коры является основной областью коры, связанной с самоидентификацией ошибок (Luft, 2014).
Анализ имеющейся литературы показал, что в ходе освоения знаний, умений и навыков в высшей школе происходит
последовательная активация двух реципрокных нейросетей,
связанных с обеспечением активного обучения и спокойного
бодрствования.
Первая сеть, связанная с кодированием и извлечением информации из рабочей памяти, локализована в области префронтальной коры и в регионах задней части поясной извилины, что было более выражено при поиске освоенной ранее
информации (Panda et al., 2014). Лобно-теменная сеть акти-et al., 2014). Лобно-теменная сеть акти- al., 2014). Лобно-теменная сеть акти-al., 2014). Лобно-теменная сеть акти-., 2014). Лобно-теменная сеть активируется параллельно с активацией рабочей памяти, являющейся центром нейросети, связанной с памятью и образованием. Основным субстратом для ее формирования и развития является образование новых синаптических контактов и увеличение их количества (Park, Reuter-Lorenz, 2009; Angel et al.,
2010), что позволяет более эффективно выполнять поставленные задачи (Angel et al., 2010).
Также при высоком уровне успешности освоения образовательных задач показано активное вовлечение правой нижней височной и постцентральной извилин (Angel et al., 2010).
При этом происходит поэтапное вовлечение трех когнитивных
процессов. Начальная активация фронтальной области связывается с процессом ознакомления с задачей, последующая активация левой теменной области – с извлечением ранее освоенной информации, и наконец, на завершающем этапе наблюдается совместная активация левой средневисочной извилины и структур гиппокампа (Friedman, Johnson, 2000; Evans,
Federmeier, 2007; Angel et al., 2010).
70
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]