Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.3. Алгоритмы и методы оценки навыков
Рис. 3.55. Индивидуальные нормированные значения компетенции
ПК-1, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения компетенции
ПК-1. Линиями обозначены пограничные значения компетенции
Рис. 3.56. Индивидуальные нормированные значения компетенции
ПК-2, рассчитанные для 2 студентов магистратуры. Обозначения:
по оси абсцисс представлены порядковые номера обследованных
студентов, по оси ординат – нормированные значения компетенции
ПК-2. Линиями обозначены пограничные значения компетенции
191
Глава 3. Разработка и апробация алгоритмов и методов…
Кроме того, ввиду сложности выработки соответствующих
навыков, целесообразным является дополнительная количественная оценка индикатора ПК-2.5, оцениваемая на уровне
бакалавриата. Целесообразность дополнительной оценки данного индикатора связана со сложностью развития данной части компетенции, возможного и при переходе с одной ступени обучения на другую. Кроме того, при переходе из бакалавриата в магистратуру студенты часто меняют направленность
обучения, высшее учебное заведение, вследствие чего могут
не обладать требуемым уровнем компетенции. Вследствие этого для дальнейшей эффективной выработки компетенций необходима оценка имеющегося базиса.
Применение метода измерения временных затрат
при оценке навыков выполнения ВКР
При написании выпускной квалификационной работы
были проанализированы временные трудозатраты для 2 студентов магистратуры. Было проанализировано 13 учебных занятий длительностью от 2 до 4 академических часов. Представленность данных для каждого студента зависела от стадии написания дипломной работы и индивидуального задания, полученного от преподавателя. В качестве возможных
видов деятельности анализировались следующие:
– Обработка данных (в фокусе Matlab).
– Работа с текстом (в фокусе приложение MS Word или
аналог).
– Поиск литературы (в фокусе интернет-браузер с известными сайтами поисковых библиографических систем).
– Использование сети Интернет (в фокусе интернет-браузер
с неизвестными сайтами).
– Органайзер.
– Прочее (используются иные программы).
В табл. 3.12 представлены распределение и соотношение
видов выполняемой деятельности у студентов во время выполнения следующих видов заданий:
– Математическая обработка данных в программной среде Matlab, Statistica, MS Excel, подготовка рисунков, графиков и диаграмм.
– Поиск статей в международной базе данных Pubmed.
192
3.3. Алгоритмы и методы оценки навыков
– Написание фрагмента раздела «Обзор литературы».
– Написание фрагмента раздела «Результаты исследования».
Таблица 3.12
Распределение временных затрат между видами деятельности
для двух студентов в зависимости от вида целевой задачи
Доля времени, %
Тип занятия
Математическая обработка данных
Поиск статей 1 – 7 90 – 3 –
Обзор литературы 1 5 67 21 1 6 –
Результаты иссле-
дования
Математическая обработка данных
Поиск статей
Результаты исследования
Обзор литературы 1 – 7 87 – 4 2
Îáðà-
№
ботка
äàííûõ
1 61 39
93 – – – 7 –
2 96 – – – 4 –
3 95 – – – 5 –
4 61 4 – 5 30 –
5 91 – – – 7 2
6 91 – – 2 6 1
1 – 81 – 11 8 –
1 56 44 –
2 96 –
3 37 13 3 – 47 –
4 43 2 8 1 46 –
5 41 1 – 9 49 –
6 23 2 – 46 29 –
7 61 15 – 14 10 –
8 31 1 8 60
1 – 3 94 – 3 –
2 – 2 96 – 4 –
1 16 51 – – 26 8
Ðà-
áîòà
ñ òåê-
ñòîì
Студент 1
Студент 2
Поиск
ëèòå-
ðàòó-
ðû
Èí-
òåð-
íåò
Ïðî-
÷åå
Îðãà-
íàé-
çåð
193
Глава 3. Разработка и апробация алгоритмов и методов…
Полученные данные свидетельствуют, что студент 1 избегает одновременного выполнения нескольких видов деятельности, а также сочетания целевой задачи и нецелевой деятельности. Присутствие в ряде случаев большого процента времени, отнесенного к разделу «Прочее», связано с подготовительными операциями (систематизация материала, копирование
данных из электронной почты, поиск информации в электронных базах данных кафедры и т. д.). При этом основной объем
подготовительных операций был сконцентрирован в пределах
первого занятия, посвященного данному типу задачи; в дальнейшем подготовка к работе занимала минимальное время.
Различия для студента 2 заключались в распределении подготовительных мероприятий между всеми занятиями данного
типа; вследствие этого доля «Прочего» была достаточно высокой на каждом занятии и могла быть сопоставима с временем, затраченным на саму целевую деятельность. Кроме того,
для студента 2 характерны попытки параллельного выполнения нескольких видов деятельности разного содержания. Картина сочетания нескольких видов деятельности очевидна при
анализе трудозатрат при написании фрагмента раздела «Обзор
литературы». При этом необходимо отметить сходство доли
времени, отведенной для поиска и анализа статей в базах данных, находящих сети Интернет, на занятиях, связанных конкретно с поиском литературных данных (96 %) и написанием фрагмента раздела «Обзор литературы» (87 %). Это связано
с параллельным написанием собственно текста диплома и поиском требуемой для этого теоретической информации, что
сопровождалось небольшими (7 %) трудозатратами по написанию собственно текста. Для сравнения, у студента 1 соотношение времени написания текста (67 %) и поиска информации (21 %) на занятии, связанном с подготовкой раздела «Обзор литературы», было принципиально иным.
В качестве примера можно рассмотреть стратегию написания фрагмента раздела «Результаты исследования». Для студента 1 основное время (76 %) было связано с работой в текстовом редакторе. Параллельного расчета полученных данных не производилось, так как требуемые рисунки и статистические данные были получены заранее. Небольшая доля
(менее 10 %) времени, связанная с работой в сети Интернет,
194
3.3. Алгоритмы и методы оценки навыков
была обусловлена поиском требуемого образца написания текста и фрагментов, подготовленных заранее. На основании этого можно предполагать, что для студента 1 характерно распределение трудозатрат в сторону выполнения одной целевой деятельности. При этом на каждом занятии выявлено явное доминирование требуемого вида задания. Количество переключений между видами деятельности незначительное и наблюдается в начале занятия (когда происходит подготовка к выполнению) и в конце (при сохранении полученных данных).
Для студента 2, напротив, сохранялась стратегия сочетания нескольких видов деятельности. Написание раздела «Результаты исследования» занимало достоверно меньшую долю
времени (51 %). При этом часть времени была затрачена на завершение обработки экспериментальных данных (16 %) и проведение подготовительных операций по систематизации данных (26 %), чего не показано для студента 1.
Таким образом, использование модуля бюджета времени
в реальном образовательном процессе позволило выявить различие в стратегиях выполнения сходной учебной и научной
деятельности, а также сделать заключение о целевом и нецелевом распределении аудиторного времени. На основании внедрения полученных данных возможна дифференцированная
оценка сформированности уровней индикаторов «Владеть»,
а также уровня субъективной мотивации обучающегося к выполнению целевого типа деятельности.
195
ГЛАВА 4. КОНЦЕПЦИЯ ИННОВАЦИОННОЙ
СРЕДЫ ДЛЯ ОЦЕНКИ…АКАДЕМИЧЕСКИХ
ДОСТИЖЕНИЙ ПРИ АСИНХРОННОМ
ОБУЧЕНИИ ТРУДОВЫМ ДЕЙСТВИЯМ
НАУЧНО-ИССЛЕДОВАТЕЛЬСКОГО
ХАРАКТЕРА НА РАЗНЫХ УРОВНЯХ
ОБУЧЕНИЯ БАКАЛАВР – МАГИСТР –
АСПИРАНТ
4.1. Общая концепция инновационной образовательной
среды…учета академических достижений
Оценка индивидуальных достижений студента в процессе
формирования компетенций (при реализации трудовых действий) осуществляется через оценку составляющих каждую
компетенцию индикаторов одного из трех типов: «Знать»,
«Уметь» и «Владеть».
Разрабатываемая инновационная образовательная среда
должна обеспечить фиксацию текущего уровня индикаторов
всех трех типов в течение всего периода обучения. На рис. 4.1
представлена обобщенная схема функциональных блоков такой среды.
Предполагается, что компетенции, освоенные в бакалавриате, имеются на более высоких уровнях образования (магистратура и аспирантура), где они дополняются новыми компетенциями.
Таким образом, создаваемая инновационная среда учета
академических достижений должна обеспечивать выполнение
таких задач, как:
– сквозная идентификация студента при выполнении любых трудовых действий;
– полная фиксация результатов трудовых действий в процессе обучения;
– расчет индикаторов ЗУН (знать, уметь, владеть);
– формирование интегральной оценки студента (портфолио) на любой момент обучения;
196196
4.1. Общая концепция инновационной образовательной среды…
Рис. 4.1. Функциональная схема инновационной среды учета
академических достижений
– учет влияния на выполнение трудовых действий функционального состояния учащегося, динамики его когнитивных
функций и инструментальных навыков.
Для выполнения данных задач в рамках создаваемой инновационной среды были разработан ряд отдельных модулей, реализующих необходимый функционал.
Оценка индикаторов типа «Знать» и «Уметь» производится в электронной образовательной среде (реализованной с помощью системы Moodle) с использованием тестовых заданий
различного типа. Оценивание тестов закрытого типа осуществляется полностью в автоматическом режиме с эвристическим
модулем оценки стратегии выполнения. Оценивание тестов
открытого типа (результатов решения ситуационных и компетентностных заданий) производится экспертом с использова-
197
Глава 4. Концепция инновационной среды для оценки…
нием формальных критериев и анонимностью оценивания студента, что повышает объективность оценки.
Оценка индикаторов типа «Владеть» требует другого подхода. Рассмотрим трудовые действия научно-исследовательского
характера и соответствующие им индикаторы типа «Владеть»
более подробно в контексте обучения студентов в Академии
биологии и биотехнологии ЮФУ (табл. 4.1).
Таблица 4.1
Элементы среды для вычисления индикаторов «Владеть»,
уровень бакалавриат
Индикатор
ПК-1.6. Владеет навыками
поиска научной
информации
в электронных
библиографических базах
ПК-1.7. Владеет
навыками первичного анализа результатов
экспериментов
ПК-2.4. Владеет
работой с экспериментальным
оборудованием
по готовому дизайну исследования
Необходимые
параметры
Нормализованное количество найденных статей за отчетный период.
Доля статей на иностранном языке.
Доля статей, использованных для написания
обзора литературы
Нормализованное количество использованных
алгоритмов.
Нормализованные трудозатраты анализа данных
Перечень освоенных
приборов.
Актуальность каждого
прибора.
Количество освоенных
приборов.
Доля качественных записей от общего числа
экспериментов.
Нормализованное время проведения экспериментов
Элементы среды
Нормативные значения.
Электронный журнал
бакалавра.
Экспертная оценка научного руководителя.
Модуль оценки когнитивных функций.
Модуль «Антиплагиат»
Нормативные значения.
Экспертная оценка научного руководителя.
Модуль бюджета времени.
Модули оценки навыков
использования клавиатуры и «мыши».
Модуль оценки когнитивных функций
Нормативные значения.
Электронный журнал
бакалавра.
Экспертная оценка научного руководителя.
Модуль бюджета времени.
Модули оценки навыков использования клавиатуры и «мыши»
198
4.1. Общая концепция инновационной образовательной среды…
Окончание табл. 4.1
Индикатор
ПК-2.5. Владеет методами
формирования
адекватной экспериментальной
базы данных
(ЭБД) по про-
Необходимые
параметры
Число созданных БД.
Качество БД.
Нормализованный показатель полезности ЭБД
(публикации).
Сертифицированность
ЭБД
Элементы среды
Нормативные значения.
Электронный журнал
бакалавра.
Экспертная оценка научного руководителя
блеме
ПК-2.8. Владеет
опытом составления научноисследовательского отчета
Доля личного участия
Класс издательства (для
статей и тезисов) или
уровень отчета
Число опубликован-
Электронный журнал
бакалавра.
Экспертная оценка научного руководителя
ных статей, тезисов
или сданных отчетов
по НИР
Для уровня магистра добавляются дополнительные индикаторы (табл. 4.2).
Таблица 4.2
Элементы среды для вычисления индикаторов «Владеть»,
уровень магистр
Индикатор Необходимые параметры Элементы среды
ПК-1.3. Владеет инструментами поиска в отечественных
и международных
базах патентов
ПК-2.3. Владеет самостоятельной работой с экспериментальным оборудованием.
Данный индикатор
является расширением аналогичного
R
– доля иностранных
pt
патентов;
A
– качество оформле-
pt
íèÿ;
Q
– число отчетов о па-
pt
тентном поиске
dev1–devn – перечисление
освоенных приборов;
A
– актуальность при-
dev
áîðà;
Q
– количество освоен-
dev
ных приборов;
Qe – нормализованное
число самостоятельно
Электронный журнал бакалавра.
Экспертная оценка научного руководителя
Нормативные значения.
Экспертная оценка научного руководителя.
Модуль бюджета
времени.
Модули оценки
199
Глава 4. Концепция инновационной среды для оценки…
Окончание табл. 4.2
Индикатор Необходимые параметры Элементы среды
индикатора на уровне бакалавриата,
от магистра требуется уметь самостоятельно реализовать
дизайн исследования и также полностью самостоятельно
выполнять все этапы
проведения эксперимента
проведенных экспериментов;
R
– доля качественных
rec
записей от общего числа
экспериментов;
Te – нормализованное
время проведения экспериментов;
Qme – степень самостоя-
тельности создания дизайна исследования
навыков использования клавиатуры
и «мыши».
Модуль оценки когнитивных
функций
на приборе
ПК-2.4. Владеет статистическим анализом научных данных, результатов
экспериментов и наблюдений
Q
– нормализованное
stat
количество использованных алгоритмов статистического анализа;
T
– нормализованные
stat
трудозатраты статистического анализа данных
Нормативные значения.
Электронный журнал бакалавра.
Экспертная оценка научного руководителя.
Модуль бюджета
времени.
Модули оценки
навыков использования клавиатуры
и «мыши»
ПК-2.5. Владеет написанием обзора научной литературы
Q
– нормализованное
src
количество источников
литературы в списке литературы;
Rnp – доля статей, вы-
шедших за последние
5 лет;
R
– доля плагиата;
plg
Rl – доля литературы
Нормативные значения.
Электронный журнал бакалавра.
Экспертная оценка научного руководителя.
Модуль «Антиплагиат»
на английском языке;
A
– соответствие текста
rev
обзора поставленной задаче (0,1);
A
– качество текста
txt
(экспертно 0..1);
Q
– число обзоров ли-
rev
тературы
200
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]