Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.3. Алгоритмы и методы оценки навыков
Окончание табл. 3.10
Наименование
индикатора
Обозначе-
ние индика-
òîðà
Норма-
тивное
значение
Обоснование норматив-
ного значения
Определяется соответствием всех методических и документацион-
ных (наличие листинГотовность ЭБД
к сертификации
Q
dbc
1
га и структуры базы)
критериев требуемым
по алгоритму: 1 – го-
това к сертификации,
0 – не готова к серти-
фикации
ПК-2.8. Владеет опытом составления научно-исследовательского
отчета
Для НИР студента
определяется как опти-
мальная доля самостоя-
тельной работы
Доля личного
участия
0,7
R
p
Для публикаций определяется отдельно в зависимости от ее уровня, сложности и состава авторского коллектива
Определяется исходя
Число публикаций / сданных
отчетов по НИР
Q
ar
2
из минимально возмож-
ного количества выпол-
ненных НИР студента
и однократного опубли-
кования данных
Прочие индикаторы
Время выполнения одного вопроса теста закрытого типа
Время выполнения одного вопроса теста от-
Rt
40 ñ
i
5 ìèí
Значения подобраны
в результате апробации
блоков тестов на кон-
трольных занятиях
в течение 8 лет в рам-
ках 6 учебных курсов
крытого типа
На основании разработанных алгоритмов и нормативных
значений была проведена апробация предлагаемых способов
161
Глава 3. Разработка и апробация алгоритмов и методов…
оценки сформированности навыков научно-исследовательской
работы с участием 13 студентов Академии биологии и биотехнологии им. Д. И. Ивановского, из которых 11 студентов обучались по специальности 06.03.01 «Биология (бакалавриат)» и 2 студента – по специальности 06.04.01 «Биология (магистратура)». Все студенты по итогам прохождения Государственной итоговой аттестации получили оценку «отлично».
В задачи апробации входили:
– экспериментальная проверка применимости предлагаемых алгоритмов оценки количественных параметров набора
компетенций на основании выполнения реальной образовательной деятельности;
– корректировка и адаптация методики расчета и интерпретации полученных результатов;
– формирование рекомендаций по практическому внедрению количественной оценки компетенций в реальный образовательный процесс в высшей школе.
У всех студентов выпускных курсов был проанализирован
процесс подготовки выпускной квалификационной работы
(ВКР). В соответствии с индивидуальным графиком посещения (2–3 раза в неделю по договоренности с преподавателем)
студенты выполняли следующие виды работ:
1. Выбор темы ВКР – самостоятельно либо из предлагае-
мых научным руководителем.
2. Анализ теоретических данных по теме исследования.
Данный этап заключался в подборе и первичном анализе отечественных и зарубежных литературных источников в соответствующей предметной области. Реализация данного этапа
могла происходить параллельно с остальными либо предварять их.
3. Освоение требуемых для проведения исследования приборов и программного обеспечения (ПО). В данном случае обязательным для написания ВКР выступали следующие приборы и ПО:
– Система подачи стимульного материала «Аудиовизуальный слайдер», посредством которого производилось представление визуальной информации, необходимой для исследования.
162
3.3. Алгоритмы и методы оценки навыков
– Многоканальный компьютерный электроэнцефалографанализатор «Энцефалан-131-03», посредством которого происходила регистрация электрофизиологических данных
и маркеров-стимулов.
– Системы статистической и математической обработки
данных MATLAB и Statistica.
– MS Office.
– Другие приборы и ПО, набор и сложность которых варьировали в зависимости от темы исследования. К таковым относится АРМИС, велоэргометр, тонометр, специализированное
ПО «Профиль», прибор для измерения КГР.
4. Разработка и апробация протокола исследования. Данный этап заключался в подготовке сценария исследования
в формате .xml в специализированном стимульном программном обеспечении. В качестве ПО использовался «Аудиовизуальный слайдер». В задачу студента входила подготовка набора стимульного материала в соответствии с задачей исследования, формирование сценария записи, его апробация в фоновом режиме и при необходимости коррекция выявленных недоработок (с помощью преподавателя или без таковой). Данные виды работ могли выполняться полностью самостоятельно или с помощью преподавателя.
5. Набор базы экспериментального материала в соответствии с разработанным сценарием с помощью освоенных приборов. Итоговый объем базы определялся темой ВКР и спецификой задачи, и согласно нормативам должен был составлять
не менее 20 обследований. Данный этап содержал следующие
разделы:
– Постановка электродов на поверхность скальпа в соответствии с международной системой 10–20. На данном этапе оценивалась правильность постановки электродов, соответствие
уровню подэлектродного сопротивления, требуемому для качественной записи, и соответствие времени постановки электродов нормативному.
– Проведение регистрации данных с использованием освоенных приборов и ПО.
– Сохранение полученных записей в соответствии со структурой первичной базы данных.
163
Глава 3. Разработка и апробация алгоритмов и методов…
6. Первичный анализ данных, заключавшийся в отборе записей с соответствующим уровнем качества. Освоение и применение методов математического и статистического анализа данных. Построение первичных и итоговых рисунков и таблиц.
7. Написание текста ВКР. В соответствии с общепринятым
структурированием работы данный текст содержит следующие разделы:
– Введение – раздел, в котором обосновывается актуальность выбранной темы исследования, формулируется гипотеза, цели и задачи исследования.
– Обзор литературы – теоретический раздел, содержащий
информацию об имеющихся разработках и исследованиях
по теме ВКР.
– Методика исследования и контингент участников.
– Результаты исследования.
– Обсуждение результатов.
– Заключение.
– Выводы.
– Список использованной литературы.
8. Защита ВКР.
9. Подготовка публикаций по результатам работы (в про-
цессе написания ВКР или по завершению).
Апробация индикаторов направления подготовки 06.03.01
Биология (бакалавриат)
ПК-1.6. Владеет навыками поиска научной информации
в электронных библиографических базах.
Данный индикатор компетенции оценивает сформированность у студента навыков качественного поиска информации
в российских и зарубежных библиографических базах. В соответствии с разработками были предложены следующие уровни
количественной оценки индикатора:
– 1-й уровень – не владеет. Не может эффективно найти научную информацию, плохо знает электронные библиографические базы. Интегральная оценка менее 0,5;
164
3.3. Алгоритмы и методы оценки навыков
– 2-й уровень – владеет частично. Осуществляет поиск
в ограниченном количестве электронных библиографических
баз. Интегральная оценка от 0,5;
– 3-й уровень – владеет полностью. Осуществляет поиск
в необходимом количестве электронных библиографических
баз. Интегральная оценка не менее 0,85.
В качестве параметров для расчета индикатора первоначально были предложены следующие:
– Нормированное количество найденных статей за отчетный период.
– Доля статей на иностранном языке.
– Доля статей, использованных для написания обзора литературы.
Расчет индикатора осуществлялся по формуле (3.43). Рассчитанные значения данного индикатора для каждого студента представлены на рис. 3.43.
В результате апробации формулы для оценки ПК-1.6 было
выявлено, что студенты, получившие одинаковую академическую оценку при защите ВКР, при дифференцированном анализе различались уже на этапе анализа литературных источников по соответствующей теме. Большая доля источников
Рис. 3.43. Индивидуальные нормированные значения индикатора
ПК-1.6, рассчитанные для 11 студентов. Обозначения: по оси
абсцисс представлены порядковые номера обследованных студентов,
по оси ординат – нормированные значения индикатора ПК-1.6.
Линиями обозначены пограничные значения индикатора
165
Глава 3. Разработка и апробация алгоритмов и методов…
на иностранном языке связана со спецификой области исследования, так как большая доля публикаций в сфере когнитивных исследований и нейронаук является именно зарубежными. Все студенты перешли пограничный уровень значений индикатора 0,5, позволяющий отдифференцировать обучающихся, не владеющих данным навыком. Апробация показала, что
предлагаемая формула может расцениваться как полностью
применимая для оценки данного индикатора.
ПК-1.7. Владеет навыками первичного анализа результатов экспериментов.
Данный индикатор оценивает уровень освоенности и способность применять навыки анализа результатов экспериментальных исследований. В качестве методов анализа могут оцениваться как стандартные методы статистического анализа,
так и методы подготовки и анализа электрофизиологических
и психофизиологических данных, полученных в ходе выполнения практической части ВКР.
В соответствии с разработками были предложены следующие уровни количественной оценки дескриптора:
– 1-й уровень – не владеет. Не может произвести анализ
данных. Интегральная оценка менее 0,5;
– 2-й уровень – владеет частично. Осуществляет оценку
распределения данных и удаление артефактов. Интегральная
оценка от 0,5;
– 3-й уровень – владеет полностью. Осуществляет оценку
распределения данных, удаление артефактов и получение простых вычислимых показателей. Интегральная оценка не менее 0,85.
В качестве параметров для расчета значения индикатора
могут быть использованы следующие:
– нормированное количество использованных алгоритмов;
– нормированные трудозатраты – время, затраченное студентом на выполнение статистического анализа данных.
Рассчитанные значения данного индикатора по формуле
(3.45) для каждого студента представлены на рис. 3.44.
166
3.3. Алгоритмы и методы оценки навыков
Рис. 3.44. Индивидуальные нормированные значения индикатора
ПК-1.7, рассчитанные для 11 студентов. Обозначения: по оси
абсцисс представлены порядковые номера обследованных студентов,
по оси ординат – нормированные значения индикатора ПК-1.7.
Линиями обозначены пограничные значения индикатора
В результате апробации было выявлено, что применение
предлагаемой формулы позволяет достаточно точно оценить
уровень индикатора ПК-1.7. В то же время на основании применения в реальной деятельности и экспертной оценки преподавателей было выявлено, что данная формула не позволяет
учесть некоторые принципиальные показатели.
Это возможность применения студентами как обязательных, так и дополнительных методов статистического и специализированного анализа, которые могут использоваться студентами при подготовке ВКР.
В соответствии со спецификой НИР студентов по данному направлению все алгоритмы были разделены на обязательные (Qa) и дополнительные (Qd). Обязательные алгоритмы применяются всеми студентами независимо от содержания ВКР
и специфики практического материала. В качестве обязательных к освоению были выделены 15 алгоритмов.
Методы специализированного анализа физиологических
данных:
– отбор ЭЭГ-записей с соответствующим уровнем качества;
– конверсия данных в универсальный формат (.edf, .mat,
.xls);
– применение необходимого набора цифровых фильтров;
167
Глава 3. Разработка и апробация алгоритмов и методов…
– применение необходимого набора алгоритмов для удаления артефактов и помех;
– расчет значений электрофизиологических (значения
спектральной мощности и функции когерентности диапазонов
ЭЭГ, амплитудно-временные характеристики ССП, время реакции, длительность нажатий и т. д.) и поведенческих (время
решения, количество правильных ответов, длительность операций и т. д.) параметров в соответствии с целью ВКР.
Статистические алгоритмы:
– построение и анализ гистограммы частотного распределения;
– сглаживание временных рядов;
– расчет показателей центральной тенденции;
– расчет коэффициента корреляции;
– проверка истинности гипотезы;
– критерий Стьюдента;
– дисперсионный анализ ANOVA/MANOVA;
– критерий Колмогорова – Cмирнова;
– корреляционный анализ (критерий Спирмена).
Дополнительные алгоритмы могут быть применены, если
этого требует содержание ВКР конкретного студента. В качестве дополнительных были выделены следующие:
– критерий знаков;
– дискриминантный анализ;
– регрессионный анализ;
– оценка экстремумов.
Количество использованных алгоритмов статистического
анализа существенно варьирует в зависимости от темы ВКР,
специфики экспериментального материала и требований руководителя к выполнению работы. Поскольку использование дополнительных методов статистического анализа не было обязательным для всех студентов и определялось содержанием
и целью ВКР, то для данного параметра проводилось не нормирование данных, а суммация баллов из расчета 0,2 за каждый освоенный метод.
Уровень трудозатрат определяется объемом полученного
практического материала и не может быть однозначно определен для всех ВКР. Результаты апробации предлагаемых методов расчетов показали, что для оценки трудозатрат как вре-
168
3.3. Алгоритмы и методы оценки навыков
мени, требуемому для набора практического материала и проведения статистического анализа данных, следует учитывать
цель ВКР, объем экспериментального материала, его качество и перечень необходимых для расчета параметров. Исходя
из этого, для каждой ВКР необходимо индивидуальное определение преподавателем нормативных трудозатрат.
Возрастание реальных значений данного показателя в сравнении с нормативными выступало следствием не только большого объема самого статистического материала (что нивелируется коррекцией нормативных значений в большую сторону), но и плохой сформированности навыков статистического
анализа. Поэтому при нормировании значений данного показателя от 0 до 1 необходимо использовать следующий подход:
T
a
=
T
a
, Ta < T
T
a_cr
1, T
≥ T
a
a_cr
,
a_cr
(3.56)
,
ãäå Ta – количество времени, затраченное на проведение статистического анализа за отчетный период; T
– необходимое
a_cr
и достаточное время, нормативные значения определяются
преподавателем.
На временные затраты существенное влияние оказывает
уровень самостоятельности студента при работе с практическим материалом. В качестве дополнительного параметра был
введен так называемый коэффициент самостоятельности, позволяющий оценить уровень самостоятельного владения студентом указанными статистическими алгоритмами. Применение коэффициента самостоятельности требует экспертной
оценки преподавателя, так как проистекает непосредственно
из оценки правильности работы студента, частоты необходимых консультаций и их содержания, активности по показателям модулей регистрации активности компьютерной мыши
и клавиатуры. Для этого была разработана следующая балльная шкала:
– 1, если количество освоенных и самостоятельно применяемых студентом методов статистического анализа данных соответствует требуемому или превышает таковое;
– 0,75, если один из требуемых методов статистического
анализа не применяется студентом самостоятельно;
169
Глава 3. Разработка и апробация алгоритмов и методов…
– 0,5, если два из требуемых методов статистического анализа не применяется студентом самостоятельно;
– 0, если студент не в состоянии самостоятельно применять
требуемые методы статистического анализа.
В результате количественная оценка ПК-1.7 была проведена с применением следующей формулы:
Ta + Qa + Qd + K
I
=
1.7
, (3.57)
4
ãäå I
– текущая оценка ПК-1.7; Ta – нормализованные тру-
1.7
дозатраты анализа данных; Qa – нормализованное количество
использованных обязательных алгоритмов; Qd – сумма нормированных баллов за использование дополнительных алгоритмов; K – показатель самостоятельности.
Рассчитанные значения данного индикатора для каждого
студента представлены на рис. 3.45.
Таким образом, для адекватной количественной оценки
индикатора ПК-1.7 обязательным является индивидуальный
учет временных затрат и набора статистических методов, требующихся для выполнения ВКР, а также экспертная оценка
преподавателем уровня самостоятельности студента в выпол-
Рис. 3.45. Индивидуальные нормированные значения индикатора
ПК-1.7, рассчитанные для 11 студентов. Обозначения: по оси
абсцисс представлены порядковые номера обследованных студентов,
по оси ординат – нормированные значения индикатора ПК-1.7.
Линиями обозначены пограничные значения индикатора
170
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]