Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
Глава 2. Концепция оценки уровня сформированности…
Дескрипторы оценивания
Окончание табл. 2.4
Умеет частично:
правильно решает 25–75 % задач
теста на знание ГОСТ 7.32–2001
Умеет полностью:
правильно решает не менее
85 % задач теста на знание
ГОСТ 7.32–2001
Умеет частично:
правильно решает 25–85 % задач
теста на правила применения методов статистического анализа
Умеет полностью:
правильно решает не менее
85 % задач теста на правила
применения методов статистического анализа
соответствующих трудовых функций по направлению
Биологические науки (аспирантура)
Индикатор достижения профессиональ-
ной компетенции
ПК-1.1. Умеет применять актуальную
нормативную документацию в соответствующей области знаний
ПК-1.2. Знает отечественную и международную нормативную базу в соответствующей области знаний
ПК-1.3. Владеет навыками внедрения
результатов научно-исследовательской
работы
Профессиональная компе-
тенция
ПК-1
Способность определить сферу применения результатов научноисследовательских работ, осуществить внедрение результатов и подготовить отчет о практиче-
ской реализации
ПК-1.4. Владеет подготовкой отчета
о практической реализации результатов
научных исследований
Таблица 2.5
41
Глава 2. Концепция оценки уровня сформированности…
Профессиональ-
ная компетен-
öèÿ
ПК-1
Способен определить сферу
применения результатов
научно-исследовательских работ, осуществить внедрение результатов
и подготовить
отчет о практической реализации
Дескрипторы выделенных индикаторов достижения
подготовки 06.06.01
Индикатор достиже-
ния профессиональ-
ной компетенции
ПК-1.1. Умеет применять актуальную
нормативную документацию в соответствующей области
знаний
ПК-1.2. Знает отечественную и международную нормативную
базу в соответствующей области знаний
Не умеет: правильно решает менее чем 25 % задач теста на применение
актуальной нормативной
документации в своей области знаний
Не знает отечественную
и международную нормативную базу в своей области знаний.
Правильно отвечает менее
1-й уровень 2-й уровень 3-й уровень
чем на 25 % вопросов теста (4 варианта в тесте)
ПК-1.3. Владеет навыками внедрения
результатов научноисследовательской
работы
ПК-1.4. Владеет
подготовкой отчета
о практической реализации результатов научных исследований
Не владеет: количество
и качество фактов внедрения НИР недостаточны.
Интегральная оценка менее 0,5
Не владеет: не предоставляет достаточного уровня
качества отчетов о практической реализации.
Интегральная оценка менее 0,5
42
Глава 2. Концепция оценки уровня сформированности…
профессиональной компетенции по направлению
Биологические науки (аспирантура)
Дескрипторы оценивания
Таблица 2.6
Умеет частично:
правильно решает 25–75 % задач теста на применение актуальной нормативной документации
в своей области знаний
Частично знаком с отечественной
и международной нормативной
базой в своей области знаний.
Правильно отвечает на 25–75 %
теста
Владеет частично:
количество или качество фактов
внедрения НИР недостаточны.
Интегральная оценка
не менее 0,5
Владеет частично:
предоставленные отчеты написаны с недостаточным количеством
или качеством.
Интегральная оценка
не менее 0,5
Умеет полностью:
правильно решает не менее
85 % задач теста на применение актуальной нормативной
документации в своей области
знаний
Хорошо знаком с отечественной
и международной нормативной
базой в своей области знаний.
Правильно отвечает не менее
чем на 75 % вопросов теста
Владеет полностью:
достаточное количество и качество фактов внедрения результатов НИР.
Интегральная оценка
не менее 0,85
Владеет полностью:
предоставленные отчеты написаны в достаточном количестве
и качестве.
Интегральная оценка
не менее 0,85
43
ГЛАВА 3. РАЗРАБОТКА И АПРОБАЦИЯ
АЛГОРИТМОВ И МЕТОДОВ…ОЦЕНКИ
УРОВНЯ СФОРМИРОВАННОСТИ
ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ
3.1. Алгоритмы и методы оценки знаниевой
компоненты компетенции
К числу наиболее признанных способов быстрого и объективного контроля результатов обучения в мировой практике относится тестирование. Однако проблема оценки сформированности знаниевой компоненты требуемых компетенций
с использованием автоматизированных средств оценивания
актуальна в настоящее время (Айдаркин, Павловская, 2015).
Методологической основой к требованиям оценивания компетенций являются (Анисимова и др., 2013; Ефремова, 2012):
1. Валидность (объекты оценивания должны соответство-
вать поставленным целям дисциплин).
2. Надежность (использование единообразных критериев
оценивания).
3. Объективность (за счет системности оценивания и ее цикличности, обоснованность критериев и показателей качества
образования).
4. Инструментальность и технологичность при использовании стандартизированных педагогических измерительных инструментов и процедур, программных средств и т. д.
5. Стандартизация оценочных средств (унификация требований к оценочным средствам, дифференцирующая способность).
6. Адекватность и минимализация субъективности оценивания (независимость от преподавателя).
7. Открытость и прозрачность оценочных процедур.
8. Справедливость для разных категорий обучающихся.
9. Развиваемость (степень достижения и пути улучшения).
10. Наличие обратной связи с обучающимся.
11. Научно-обоснованные показатели, шкалы и критерии
оценивания, подходы к интерпретации результатов.
4444
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
12. Соблюдение последовательности прироста уровня овладения компетенциями.
13. Многоступенчатость и преемственность (оценка, самооценка студентом, обсуждение результатов и комплекс мер
по устранению недостатков).
14. Соблюдение морально-этических норм и корпоративной
культуры, обеспечение информационной защиты оценочных
материалов и процедур.
15. Эффективность (трудоемкость) для преподавателя.
Основные направления работ по созданию фондов оценочных средств связаны с разработкой модели оценивания
и описания признаков выявления кластеров компетенций
и их уровней (дескрипторов), разработки компетентностноориентировочных заданий и экспертного анализа их качества.
Проблема профессионализации включает в себя не только оптимальное структурирование знаний, но и адекватность
сформированности познавательных функций обучающегося,
что в данном исследовании оценивается методами когнитивной психофизиологии (внимание, восприятие, память и т. д.).
Формирование трудовых функций, профессиональных компетенций представляет собой процесс формирования динамического стереотипа, эффективность которого может быть оценена по внешним параметрам (скорость и качество его реализации) с помощью эргономических методов и по внутренним
показателям (адекватность текущего функционального состояния) с помощью психофизиологических и физиологических
методов. В качестве инструментария, требуемого для формирования и контроля уровня сформированности трудовых
научно-исследовательских функций, предложена аппаратнопрограммная среда, позволяющая работать с базами знаний,
экспериментальными базами данных, современным математическим аппаратом, обеспечивающим построение математических моделей, рисунков, графиков, таблиц и т. д., подготовку в соответствии с нормативными требованиями статьи, отчета, патента, заявки в фонды, технического задания по гранту и др. Для оценки уровня и динамики формирования трудовых функций создан индивидуальный паспорт студента, являющийся элементом «портфолио» при оценке квалификации
и переговоров с работодателем.
45
Глава 3. Разработка и апробация алгоритмов и методов…
Компьютерные тестовые задания, как система стандартизированных заданий, позволяющая автоматизировать процедуру измерения уровня знаний и умений обучающегося, разработаны сотрудниками ЮФУ (Айдаркин, Павловская, 2015)
и размещены в образовательном портале Академии биологии
и биотехнологии им. Д. И. Ивановского.
Для оценки уровня входных, текущего уровня и остаточных знаний вышеперечисленных показателей вполне достаточно. Однако стандартный набор показателей системы
Mоodle не позволяет оценить динамику уровня сформированности профессиональной компетенции, а также уровень когнитивных (объем памяти, уровень внимания) и интеллектуальных (скорость чтения, скорость печатания текста, скорость
принятия решения, стратегия мышления) функций, динамики умственного напряжения со степенью функционального состояния и текущей работоспособности. Для отбора показателей (факторов), на основе которых необходимо построить модель формирования профессиональных навыков, нами было
проведено тестирование обучающихся и проанализирован материал с использованием статистического пакета.
Тестирование по дисциплине «Менеджмент научных исследований в биологии» для магистров очной и очно-заочной формы обучения, модулю «Организации научных исследований»
разработано Е. К. Айдаркиным и М. А. Павловской (2015)
для оценки уровня сформированности знаниевой компоненты
общепрофессиональной компетенции ОПК-13: готовность использовать правовые нормы исследовательских работ и авторского права, а также законодательства Российской Федерации
в области охраны природы и природопользования.
Компьютерные тестовые задания, как система стандартизированных заданий, позволяющая автоматизировать процедуру измерения уровня знаний и умений обучающегося, размещены в образовательном портале (на базе системы Moodle)
в курсе «Менеджмент научных исследований в биологии»
по следующим разделам: тест 1 «Наукометрия и квалиметрирование научной деятельности», тест 2 «Публикационная активность», тест 3 «Интеллектуальная собственность», тест
4 «Гранты и заявки», тест 5 «Коммуникации в профессиональной сфере».
46
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
Тестовые задания по каждому разделу имеют две части.
Первая часть тестов предназначена для оценки знаний, приобретенных в ходе дисциплины, и представляет собой простые
задания с выбором правильного ответа либо вопросы на установление соответствия. Вторая часть – это тестовые задания
с открытым ответом (свободно конструируемый ответ), основное назначение которых является оценка уровня сформированных умений (описание алгоритмов, технологий и т. д.)
в ходе обучения дисциплины.
Тестирование проводилось в осенних семестрах с 2015
по 2020 год у бакалавров очной формы обучения. Шкала оценивания каждого теста в целом составляла от 0 до 5 баллов,
в котором по 0–2,5 балла можно набрать за выполнение закрытой (автоматический расчет в системе Moodle по совокуп-Moodle по совокуп- по совокупности правильных ответов, умноженных на стоимость ответа,
в баллах) и открытой (off-line оценивается преподавателем)
частей соответственно (табл. 3.1).
Таблица 3.1
Спецификация тестовых заданий
Количество
вопросов за-
крытой ча-
ñòè · öåíà âî-
проса
Òåñò 1 35 · 0,08 5 · 0,5 16 30 88
Òåñò 2 20 · 0,13 5 · 0,5 12 30 76
Òåñò 3 65 · 0,04 5 · 0,5 32 80 75
Òåñò 4 40 · 0,06 5 · 0,5 21 40 78
Òåñò 5 45 · 0,07 5 · 0,5 19 40 67
Количество
заданий от-
крытой ча-
ñòè · öåíà âî-
проса
% ê îáùå-
му числу
заданий
Общее
задан-
íîå âðå-
мя выполне-
íèÿ òå-
ñòà, ìèí
Объем
выбор-
êè
Для оценки качества выполняемого теста была использована балльная система, при которой оценка «отлично» выставляется за выполнение 100–71 % правильных заданий, «хорошо» при 71–65 %, «удовлетворительно» – 65–59 %. Менее
51 % считалось «неудовлетворительной» оценкой.
47
Глава 3. Разработка и апробация алгоритмов и методов…
Образовательный портал Moodle позволяет рассчитать общее время, потраченное на выполнение теста, время выполнения открытой и закрытой части тестов, баллы за открытую
и закрытую части теста, гистограмму качества выполнения
тестов, а также общую эффективность выполнения теста.
Анализируя полученные результаты (табл. 3.2–3.3), мы видим, что среднее количество выполненных заданий закрытой
части составило 28,02 (из 35), открытой – 3,1 (из 5 предъявленных). Среднее количество набранных баллов составило при
выполнении закрытой части – 2,13, а открытой – 0,98 балла
(из 2,5 возможных). Средняя эффективность выполнения тестирования в системе Moodle указана как 80–85 % для закрытой части и 40–60 % – для открытой.
Таблица 3.2
Статистические параметры анализа закрытой части
тестирования
По времени выполнения
Среднее
время вы-
полне-
ния закры-
той части,
Тz+DI
19,46+1,16 28,6 18,6 24,73+1,17 29 27 1,99+0,11 2,49 2,16
17,02+0,7 19,02 17,11 18,21+0,66 19 19 2,14+0,08 2,28 2,38
24,07+1,24 27 25,3 36,79+0,95 40 38 2,23+0,07 2,5 2,31
23,73+1,35 16,4 24,58 32,33+0,58 34 33 2,17+0,07 1,98 2,17
Примечание. Mo – модальный класс, Me – медиана, DI – довери-
тельный интервал.
48
Мо Ме
По количеству пра-
вильных ответов
Среднее ко-
личество
правиль-
ных ответов,
Ncor+DI
Òåñò 1
Òåñò 2
Òåñò 4
Òåñò 5
Мо Ме
По количеству на-
бранных баллов
Среднее
количество на-
бранных
баллов,
Nass+DI
Мо Ме
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
Таблица 3.3
Статистические параметры анализа открытой части
тестирования
По времени
выполнения
Среднее время выполне-
ния закры-
той части,
То±DI
8,29+1,28 0 8 3,73+0,37 4 4 0,99+0,15 0 1,05
6,08+0,86 6,0 6,0 2,93+0,41 5 3 0,77+0,19 0 0,5
6,32+1,39 0 5,0 2,29+0,34 3 3 0,87+0,13 0 0,9
10,77+1,85 0 9,5 3,48+0,44 5 4 1,29+0,18 0 1,5
Примечание. Mo – модальный класс, Me – медиана, DI – довери-
тельный интервал.
Мо Ме
По количеству пра-
вильных ответов
Среднее ко-
личество
правильных
ответов,
Ncor+DI
Мо Ме
Òåñò 1
Òåñò 2
Òåñò 4
Òåñò 5
По количеству
набранных баллов
Среднее ко-
личество на-
бранных бал-
ëîâ, Nass+DI
Мо Ме
Среднее время выполнения одного задания закрытой части
тестов, согласно нашим расчетам, составило 0,64 мин, а открытой – 2,16 мин, что свидетельствует о привлечении дополнительных когнитивных и интеллектуальных ресурсов для
составления алгоритма ответа, подбора необходимых фраз, набора текста на клавиатуре, по сравнению с перебором ответов
автоматической закрытой части теста (табл. 3.4).
Таблица 3.4
Скорость выполнения заданий закрытой и открытой части
тестирования
Закрытая часть
тестирования
Ñðåä-
íåå âðå-
ìÿ âû-
полне-
íèÿ, Тz
Òåñò 1 18,92 0,63 8,29 1,97 4,21
Òåñò 2 17,02 0,85 6,08 1,72 3,54
Среднее
время ре-
шения
одного во-
проса
Открытая часть тестирования
Среднее
время
выполне-
íèÿ, То
Среднее
время ре-
шения
одного во-
проса
Среднее
количе-
ñòâî ïîïû-
òîê, Ntry
49
Глава 3. Разработка и апробация алгоритмов и методов…
Окончание табл. 3.4
Закрытая часть
тестирования
Ñðåä-
íåå âðå-
ìÿ âû-
полне-
íèÿ, Тz
Òåñò 4 22,74 0,57 6,32 2,16 2,92
Òåñò 5 22,54 0,5 10,61 2,78 3,82
Среднее
значе-
íèå
Среднее
время ре-
шения
одного во-
проса
0,64 2,16 3,62
Открытая часть тестирования
Среднее
время
выполне-
íèÿ, То
Среднее
время ре-
шения
одного во-
проса
Среднее
количе-
ñòâî ïîïû-
òîê, Ntry
Интересным фактором остается количество попыток выполнения заданий открытой части тестирования. Так, среднее
число попыток составляет 3,62 раза при решении 3,1 заданий.
Следовательно, наибольшая эффективность выполнения
приходится на закрытую часть тестирования, связанную с наличием готовых вариантов ответа, повышения скорости принятия решения и т. д. Недостаточное количество баллов по открытой части и увеличение времени выполнения задания, возможно, связано с рядом причин: пропуск заданий, просмотр
задания без ответа или бессмысленного ответа, отсутствие достаточной подготовки, отсутствие ключевых слов в ответе
и др.
Среднее время выполнения теста и средняя эффективность
выполнения тестов закрытой и открытой частей показана
в табл. 3.5 и 3.6.
Эффективность по количеству правильных ответов была
рассчитана по формуле
Эcor = · 100 %, (3.1)
Ncor
Nz
ãäå Nz – общее количество вопросов закрытой части.
Эффективность по количеству набранных баллов была рассчитана по следующим формулам:
Nass
No
50
Эass = · 100 %, (3.2)
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]