Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.3. Алгоритмы и методы оценки навыков
На основании проведенной апробации предлагаемый метод
позволил достоверно дифференцировать студентов по уровню
сформированности компетенций ПК-1 и ПК-2. Было выявлено, что при идентичной академической оценке «отлично», полученной после прохождения ГИА, реальный уровень освоенности требуемых компетенций не соответствует оцениваемому
с помощью традиционной системы аттестации.
Основные различия были связаны с индикаторами, оценивающими владение навыками первичного анализа результатов экспериментов, формирования ЭБД с требуемым уровнем
качества, и опытом составления научно-исследовательского
отчета.
Обращает на себя внимание формирование группы студентов, уровень овладения компетенциями у которых составлял
значения от 0,5 до 0,7 (5 студентов для ПК-1 и 6 студентов
для ПК-2). Вероятно, данные значения компетенции могут
быть использованы как некоторый базовый уровень освоения.
Применение разработанного нами алгоритма позволяет
определять наименее проработанные компоненты компетенций ПК-1 и ПК-2, выявлять причины отставания и корректировать их.
Апробация индикаторов направления подготовки 06.04.01
Биология (магистратура)
В рамках магистратуры были проанализированы и апробированы методы расчета индикаторов следующих компетенций:
– ПК-1 – способность осуществлять выбор форм и методов охраны и использовать результаты интеллектуальной деятельности в соответствующей профессиональной области,
в том числе за рубежом;
– ПК-2 – способность применять методические основы проектирования и выполнения экспериментальных исследований
с использованием современной аппаратуры и проводить анализ и теоретическое обобщение научных данных, результатов
экспериментов и наблюдений.
Для ПК-1 был определен ряд индикаторов, позволяющих
количественно оценить компонент «Владеть»:
181
Глава 3. Разработка и апробация алгоритмов и методов…
– ПК-1.3. Владеть инструментами поиска в отечественных
и международных базах патентов.
Для ПК-2 был определен ряд индикаторов, позволяющих
количественно оценить компонент «Владеть»:
– ПК-2.3. Владеет самостоятельной работой с экспериментальным оборудованием;
– ПК-2.4. Владеет статистическим анализом научных данных, результатов экспериментов и наблюдений;
– ПК-2.5. Владеет написанием обзора научной литературы.
ПК-1.3. Владеет инструментами поиска в отечественных и международных базах патентов.
Данный индикатор позволяет оценить способность студентов ориентироваться в структуре отечественных и международных баз патентов, осуществлять патентный поиск и формировать отчет в соответствии с требованиями ГОСТа.
В соответствии с разработками были предложены следующие уровни количественной оценки индикатора:
– 1-й уровень – не владеет. Не может провести патентный
поиск, не знает отечественных и международных баз патентов. Интегральная оценка менее 0,5;
– 2-й уровень – владеет частично. Осуществляет поиск
в ограниченном количестве отечественных и международных
баз патентов. Интегральная оценка от 0,5;
– 3-й уровень – владеет полностью. Может провести патентный поиск в полном объеме. Интегральная оценка не менее 0,85.
Модификации исходной формулы количественной оценки индикатора ПК-1.3 не проводилось; расчеты выполнялись
с применением следующих параметров:
– доля иностранных патентов. Данный показатель отражает способность студента к поиску и фильтрации информации
в зарубежных базах теоретических данных;
– качество оформления – соответствие оформления подготовленного патентного поиска требованиям ГОСТ;
– количество подготовленных отчетов о патентном поиске.
Поскольку в задачи, поставленные перед студентом в процессе написания ВКР магистра, не входило проведение патентного поиска, расчет сформированности данной компетенции проводился для аналогичной деятельности, выполняемой
182
3.3. Алгоритмы и методы оценки навыков
в рамках самостоятельной работы по курсу «Менеджмент научных исследований». Расчет проводился с использованием
формулы (3.50).
Рассчитанные значения данного индикатора для каждого
студента представлены на рис. 3.51.
Рис. 3.51. Индивидуальные нормированные значения индикатора
ПК-1.3, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения индикатора
ПК-1.3. Линиями обозначены пограничные значения индикатора
Видно, что данная деятельность у протестированных студентов находится на довольно низком уровне.
ПК-2.3. Владеет самостоятельной работой с экспериментальным оборудованием.
Данный индикатор оценивает уровень освоенности требуемого перечня приборов и программного обеспечения, способность самостоятельно разрабатывать, формировать и корректно применять на практике сценарий исследования при подготовке базы экспериментальных данных для ВКР.
В процессе апробации были предложены следующие уровни количественной оценки индикатора:
– 1-й уровень – не владеет. Не может самостоятельно сформировать дизайн исследования и произвести эксперименталь-
183
Глава 3. Разработка и апробация алгоритмов и методов…
ную запись на необходимом количестве приборов. Интегральная оценка менее 0,5;
– 2-й уровень – владеет частично. Может выполнить основные действия для осуществления экспериментального исследования и формирования дизайна исследования. Интегральная оценка от 0,5;
– 3-й уровень – владеет полностью. Осуществляет все необходимые действия для формирования дизайна исследования
и проведения экспериментального исследования. Интегральная оценка не менее 0,85.
В качестве параметров для определения уровня сформированности компетенции могут быть использованы следующие:
– наименование освоенных приборов. Перечень приборов
соответствовал таковому для бакалавриата и также был подразделен на обязательные и дополнительные;
– актуальность прибора;
– количество освоенных приборов;
– нормализованное число самостоятельно проведенных экспериментов;
– доля качественных записей от общего числа экспериментов;
– нормализованное время проведения экспериментов;
– степень самостоятельности создания дизайна исследования на приборе.
Апробация производилась в соответствии с алгоритмом
по формуле (3.51). Рассчитанные значения данного индикатора для каждого студента представлены на рис. 3.52.
Результаты апробации предлагаемой формулы позволили
прийти к следующим выводам:
– данная формула – с учетом введенных изменений – адекватно оценивает уровень индикатора и может быть использована в реальном образовательном процессе;
– сходство численных значений параметров и индикатора в данном случае объясняется работой обследованных магистров в рамках единого проекта, техническое задание и дизайн исследования которого были сформированы ранее. Вследствие этого в задачу студента не входили разработка дизайна
эксперимента, подбор методов анализа данных и спектра приборов для исследования. Этим также объясняется значение
184
3.3. Алгоритмы и методы оценки навыков
Рис. 3.52. Индивидуальные нормированные значения индикатора
ПК-2.3, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения индикатора
ПК-2.3. Линиями обозначены пограничные значения индикатора
индикатора на уровне «Владеет частично». При возникновенииподобной ситуации дифференцировать студентов в зависимости от уровня индикатора затруднительно. Однако это
не препятствует оценке его индивидуального уровня.
ПК-2.4. Владеет статистическим анализом научных данных, результатов экспериментов и наблюдений.
Данный индикатор оценивает уровень освоенности и способность применять навыки анализа результатов экспериментальных исследований. В качестве методов анализа могут оцениваться как стандартные методы статистического анализа,
так и методы подготовки и анализа электрофизиологических
и психофизиологических данных, полученных в ходе выполнения практической части ВКР.
В соответствии с разработками были предложены следующие уровни количественной оценки дескриптора:
– 1-й уровень – не владеет. Применяет только небольшое
число алгоритмов статистического анализа. Интегральная
оценка менее 0,5;
– 2-й уровень – владеет частично. Правильно применяет
необходимое число алгоритмов статистического анализа, но с
большими затратами времени. Интегральная оценка от 0,5;
185
Глава 3. Разработка и апробация алгоритмов и методов…
– 3-й уровень – владеет полностью. Правильно применяет
необходимое число алгоритмов анализа. Интегральная оценка не менее 0,85.
Поскольку сходная формула была проверена и апробирована ранее, соответствующие изменения были внесены также в способ расчета значений индикаторов для магистратуры.
Для данного уровня также были сформированы перечни обязательных (Qa) и дополнительных (Qd) методов статистического и специализированного анализа. В качестве обязательных
к освоению были выделены 14 алгоритмов.
Методы специализированного анализа физиологических
данных:
– отбор ЭЭГ-записей с соответствующим уровнем качества;
– конверсия данных в универсальный формат (.edf, .mat,
.xls);
– применение необходимого набора цифровых фильтров;
– применение необходимого набора алгоритмов для удаления артефактов и помех;
– расчет значений электрофизиологических (значения
спектральной мощности и функции когерентности диапазонов
ЭЭГ, амплитудно-временные характеристики ССП, время реакции, длительность нажатий и т. д.) и поведенческих (время
решения, количество правильных ответов, длительность операций и т. д.) параметров в соответствии с целью ВКР.
Статистические алгоритмы:
– построение и анализ гистограммы частотного распределения;
– сглаживание временных рядов;
– расчет показателей центральной тенденции;
– проверка истинности гипотезы;
– критерий Стьюдента;
– дисперсионный анализ ANOVA/MANOVA;
– критерий Колмогорова – Cмирнова;
– корреляционный анализ (критерий Спирмена);
– расчет множественных сравнений (поправки Гринхауса–Гейсера, проверка на сферичность);
– процедуры множественных проверок гипотез (критерий
Тьюки).
186
3.3. Алгоритмы и методы оценки навыков
Дополнительные алгоритмы могут быть применены, если
этого требует содержание ВКР конкретного студента. В качестве дополнительных алгоритмов были выделены следующие:
– критерий знаков;
– дискриминантный анализ;
– регрессионный анализ;
– оценка экстремумов.
Поскольку использование дополнительных методов статистического анализа не было обязательным для всех студентов и определялось содержанием и целью ВКР, то для данного
параметра проводилось не нормирование данных, а суммация
баллов из расчета 0,25 за каждый освоенный метод.
Уровень трудозатрат был определен относительно объема
полученного материала и степени самостоятельности при анализе данных. При нормировании значений данного показателя от 0 до 1 также был использован следующий подход:
T
a
=
T
a
, Ta < T
T
a_cr
1, T
≥ T
a
a_cr
.
a_cr
,
(3.59)
ãäå Ta – количество времени, затраченное на проведение статистического анализа за отчетный период; T
– необходимое
a_cr
и достаточное время, нормативные значения определяются
преподавателем.
Критерий самостоятельности определялся экспертно по алгоритму, аналогичному таковому для бакалавриата на основании балльной шкалы:
– 1, если количество освоенных и самостоятельно применяемых студентом методов статистического анализа данных соответствует требуемому или превышает таковое;
– 0,75, если один из требуемых методов статистического
анализа не применяется студентом самостоятельно;
– 0,5, если два из требуемых методов статистического анализа не применяется студентом самостоятельно;
– 0, если студент не в состоянии самостоятельно применять
требуемые методы статистического анализа.
В результате количественная оценка ПК-2.4 была проведена с применением следующей формулы:
187
Глава 3. Разработка и апробация алгоритмов и методов…
Ta + Qa + Qd + K
I
=
2.4
, (3.60)
4
ãäå I
– текущая оценка ПК-2.4; Ta – нормализованные тру-
2.4
дозатраты анализа данных; Qa – нормализованное количество
использованных обязательных алгоритмов; Qd – сумма нормированных баллов за использование дополнительных алгоритмов; K – показатель самостоятельности.
Рассчитанные значения данного индикатора для каждого
студента представлены на рис. 3.53.
Рис. 3.53. Индивидуальные нормированные значения индикатора
ПК-2.4, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения индикатора
ПК-2.4. Линиями обозначены пограничные значения индикатора.
ПК-2.5. Владеет написанием обзора научной литературы.
Данный индикатор оценивает навыки составления студентом научно-исследовательского отчета разного уровня (курсовая, статья, грант) и представляет собой расширенный вариант индикатора ПК-2.8 для бакалавриата. Так как спецификой магистратуры является увеличение доли самостоятельной
работы, а также превалирование современных источников, использованных для написания обзоров литературы, основные
188
3.3. Алгоритмы и методы оценки навыков
изменения метода расчета были связаны именно с данными
факторами.
В соответствии с разработками были предложены следующие уровни количественной оценки дескриптора:
– 1-й уровень – не владеет. Предоставленные отчеты написаны с недостаточным количеством и качеством источников.
Интегральная оценка менее 0,5;
– 2-й уровень – владеет частично. Предоставленные отчеты
написаны с недостаточным количеством или качеством источников. Интегральная оценка от 0,5;
– 3-й уровень – владеет полностью. Предоставленные отчеты написаны с достаточным количеством и качеством источников. Интегральная оценка не менее 0,85.
При расчете количественных значений индикатора ПК-2.8
в качестве параметров были использованы следующие показатели:
– нормализованное количество источников литературы
в списке литературы. Данный параметр отражает соответствие количества источников, использованных при написании
обзора научной литературы, нормативам, принятым для студентов магистратуры;
– доля статей, вышедших за последние пять лет. Данный
параметр позволяет оценить уровень современности представленного отчета, а также способность студентов ориентироваться в степени актуальности используемых источников информации;
– доля плагиата. Учет данного параметра является обязательным в соответствии с требованиями ФГОС 3+ и позволяет
оценить уровень авторской переработки текста;
– доля литературы на английском языке. Данный параметр позволяет оценить способность студента ориентироваться в международных базах статей, навык работы с иностранными источниками информации;
– соответствие текста обзора поставленной задаче. Данный
параметр требует экспертной оценки преподавателя (0 – не соответствует, 1 – соответствует);
– качество текста (экспертно 0..1);
189
Глава 3. Разработка и апробация алгоритмов и методов…
– число обзоров литературы. Данный параметр отражает
соответствие нормированного количества подготовленных студентом обзоров литературы требуемому.
Для расчета количественных значений индикатора ПК-
2.5 была использована формула (3.53). Рассчитанные значения данного индикатора для каждого студента представлены
на рис. 3.54.
Рис. 3.54. Индивидуальные нормированные значения индикатора
ПК-2.5, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения индикатора
ПК-2.5. Линиями обозначены пограничные значения индикатора
Проведение апробации количественной оценки индикатора по данной формуле позволило прийти к выводу об отсутствии необходимости ее дальнейшей переработки и адекватности предлагаемого метода.
На рис. 3.55 и 3.56 представлены итоговые численные значения компетенций ПК-1 и ПК-2, рассчитанные для 2 студентов магистратуры.
190
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]