Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.3. Алгоритмы и методы оценки навыков
ветствие нормативному компетентностному профилю и требованиям ФГОС (Гавронская, 2008; Дурнева, 2013; Каримова, 2014; Тишкова, 2015; Тимофеева, 2016). В то же время периодический промежуточный контроль уровня освоения компетенций позволит скорректировать образовательную траекторию студента (Тимофеева, 2016), определить причины и целенаправленно регулировать развитие отстающих разделов дисциплины, а также обеспечить требуемый уровень осознания
обучающимся уровня ответственности за результаты своей деятельности в любой сфере (Гавронская, 2008; Елина, Чувакин, 2012; Каримова, 2014; Тишкова, 2015).
Специфика оценки формируемых компетенций в процессе
промежуточной аттестации и ГИА связана с их многокомпонентностью, межпредметностью и в условиях современного
общества – ориентиром на практическое применение. Вследствие этого главным требованием к системе и критериям оценки является применение такого инструментария, который позволит однозначно оценить целостный результат и при этом
не приведет к существенным искажениям процесса подготовки ВКР (Каримова, 2014; Сербиновская и др., 2016, 2016а).
Центральное место в проведении ГИА занимает подготовка и защита студентом выпускной квалификационной работы, в процессе которой происходит демонстрация обучающимся всего набора приобретенных и оцениваемых компетенций
(Каримова, 2014). Данный вид деятельности может быть представлен в виде фундаментальной научно-исследовательской
работы и/или практических разработок. Оба вида работ позволяют проверить соответствующие общие и профессиональные компетенции (Елина, Чувакин, 2012). Помимо этого, для
соблюдения требований ФГОС 3+ выпускная квалификационная работа, выполняемая студентами естественнонаучного
и технического профилей, должна содержать объемную практическую часть, обязательно включающую математические
расчеты, статистический анализ и формирование итоговых алгоритмов (Константинова, 2013; Бойко, Полуэктов, 2015; Убоженко, 2016).
В результате, наряду с выявлением итогового уровня квалификации, защита ВКР в рамках ГИА позволяет оценить готовность к решению актуальных фундаментальных и прикладных
151
Глава 3. Разработка и апробация алгоритмов и методов…
задач, получению перспективных научно-практических результатов, знаний, проектных решений, формированию авторской позиции (Сербиновская и др., 2016, 2016а). Кроме того,
необходимость творческого, личностно-ориентированного подхода позволяет оценить уровень креативного, интеллектуального, теоретического потенциала студента, способность к критическому анализу, переосмыслению и обобщению (Гавронская, 2008; Сербиновская и др., 2016, 2016а; Каримова, 2014;
Тишкова, 2015; Тимофеева, 2016; Убоженко, 2016).
В качестве параметров уровня освоения компетенций применяется способность решать научно-исследовательские задачи, аргументировать принятое решение с использованием современной теоретической информации, самостоятельно применять интегрированные знания для освоения новых областей
и достижения личностно-ориентированных целей (Каримова, 2014). Данный уровень компетенций может быть расценен
как базовый, дающий выпускнику возможность выполнения
начальных по сложности заданий в условиях реальной практики (Дурнева, 2013; Бойко, Полуэктов, 2015; Сербиновская
и др., 2016, 2016а; Тишкова, 2015; Тимофеева, 2016).
Кроме того, поскольку в процессе обучения и профессиональной деятельности компетенции не только наращиваются, но и утрачиваются ввиду отсутствия применимости, крайне важным является отслеживание динамики состояния компетенций и ее компонентов – самостоятельное или под контролем преподавателя/тьютора. Отсюда весьма важным является формирование способности к самостоятельному мониторингу и коррекции уровня профессиональной компетентности
(Сербиновская и др., 2016, 2016а; Тимофеева, 2016). В рамках
университета основная роль в этом процессе отводится научному руководителю выпускника, в задачи которого входит непрерывный мониторинг процесса формирования набора компетенций. Итоговый отзыв руководителя, наряду с рецензией независимого стороннего эксперта, в обязательном порядке
учитывается членами комиссии при проведении ГИА (Елина,
Чувакин, 2012; Смолина, 2017).
Понимание компетенции как целостного результата требует особого инструмента оценки, который комплексно позволит
оценить компетенции с помощью ВКР в условиях бакалав-
152
3.3. Алгоритмы и методы оценки навыков
риата и магистратуры. Данная оценка требует формулировки
четко сформулированных показателей и критериев, позволяющих перевести практические результаты выполнения образовательной деятельности в формат оценивания компетенции,
на который могут ориентироваться и студенты, и преподаватели (Колдина, 2013; Смирнова и др., 2017).
Далее рассмотрим алгоритмы расчета индикаторов владения, сформулированных на основе трудовых функций из профессионального стандарта в главе 2, и их апробацию при выполнении ВКР студентами-биологами ЮФУ.
Разработанные алгоритмы расчета индикаторов типа
«Владеть» на уровне бакалавриата
ПК-1.6. Владеет навыками поиска научной информации
в электронных библиографических базах:
Q
+ Rp+ Ap+ A
I
pnu
=
1.6
4
v
, (3.43)
ãäå I
– текущая оценка ПК-1.6; Q
1.6
– нормализованное коли-
pnu
чество найденных статей за отчетный период; Rp – доля статей
на иностранном языке; Ap – доля статей, использованных для
написания обзора литературы; Av – уровень авторского вклада.
Как видно, данный индикатор включает в себя три компонента, каждый из которых может быть вычислен. Каждый из них определяется исходя из целей и задачей обучения
в конкретном образовательном учреждении или даже подразделении.
Доля статей на иностранном языке (Rp) показывает возможность обучающегося производить поиск в системах наднационального уровня. Принимает значения от 0 до 1.
Доля статей, использованных для написания обзора литературы (Ap), показывает эффективность поиска. Также выражается значением от 0 до 1.
Нормализованное количество найденных статей за отчетный период (Q
) определяется исходя из локальных требова-
pnu
ний. Может быть определено как:
153
Глава 3. Разработка и апробация алгоритмов и методов…
Q
p
Q
=
pnu
, åñëè Qp < Q
Q
p_cr
1, åñëè Q
≥ Q
p
p_cr
,
p_cr
(3.44)
,
ãäå Qp – количество найденных статей за отчетный период;
Q
– необходимое и достаточное количество статей.
p_cr
ПК-1.7. Владеет навыками первичного анализа результатов экспериментов:
Ta+ Q
a
I
ãäå I
– текущая оценка ПК-1.7; Ta – нормализованные тру-
1.7
1.7
=
, (3.45)
2
дозатраты анализа данных; Qa – нормализованное количество
использованных алгоритмов.
Нормализованное количество использованных алгоритмов
определяется локальными требованиями и определяется как
доля от необходимого по образовательному плану. При значениях выше необходимого количества приравнивается к 1
(единице). Нормализованные трудозатраты показывают время, потраченное на анализ данных относительно минимального и необходимого времени. Принимает значения от 0 до 1, где
1 – трудозатраты достаточные или бóльшие, чем минимально
необходимые и достаточные. Расчет нормализованных значений производится аналогично, как в формуле (3.44).
ПК-2.4. Владеет работой с экспериментальным оборудованием по готовому дизайну исследования:
R
Q
dev
∑ (A
n = 1
I
ãäå I
– текущая оценка ПК-2.4; dev1–devn – перечисление
2.4
=
2.4
освоенных приборов; A
ность прибора; Q
– количество освоенных приборов; R
dev
·D
devn
devn
Q
dev
– актуальность прибора; D
dev
+ T
rec
·
2
n
)
+ Td , (3.46)
– ñëîæ-
dev
–
rec
доля качественных записей от общего числа экспериментов;
Tn – нормализованное время проведения экспериментов; Td –
добавочные баллы за освоение дополнительных приборов.
Ранжирование актуальности прибора (A
) производится
dev
в диапазоне (0..1), от неактуального до новейшего прибора.
154
3.3. Алгоритмы и методы оценки навыков
Конкретное ранжирование приборов определяется локальными нормативами. Предлагается, при присвоении конкретному прибору коэффициента актуальности, учитывать не только
новизну, но и сложность освоения.
Все нормализованные показатели могут быть определены
аналогично формуле (3.44) и вычисляются относительно эталонных значений определяемых индивидуально для каждой
категории студентов каждым подразделением самостоятельно.
ПК-2.5. Владеет методами формирования адекватной экспериментальной базы данных (ЭБД) по проблеме:
Q
+ Q
dbpn
dbcn
2
Q
db
)
, (3.47)
– íîð-
dbp
I
ãäå I
– текущая оценка ПК-2.5; Adb – качество БД; Q
2.5
Q
db
∑ (A
=
2.5
n = 1
dbn
·
мализованный показатель полезности ЭБД (публикации);
Q
– cертифицированность ЭБД; Q
dbc
Сертифицированность БД (Q
– число созданных БД.
db
) – принимает значения: 0
dbc
(нет сертификации), 1 (сертифицирована).
Качество базы данных (Adb) – характеризует пригодность
экспериментального материала для использования методов
статистического анализа (репрезентативность выборки, объем
и т. д.). Диапазон значений от 0 до 1, где 0 – непригодная для
статистического анализа база данных, 1 – полностью адекватная база данных.
Нормализованный показатель полезности ЭБД (Q
) – îïðå-
dbp
деляется числом публикаций, созданных с использованием
данной БД. Рассчитывается аналогично формуле (3.44).
ПК-2.8. Владеет опытом составления научно-исследовательского отчета:
I
ãäå I
– текущая оценка ПК-2.8; Rp – доля личного участия;
2.8
Q
ar
∑ (Rpn · Ajn)
n = 1
=
2.8
, (3.48)
Q
ar
Aj – класс издательства (для статей и тезисов) или уровень от-
÷åòà; Qar – число опубликованных статей, тезисов или сданных отчетов по НИР.
155
Глава 3. Разработка и апробация алгоритмов и методов…
Вариант расчета A
– класс издательства (уровень отчетов)
jr n
вычисляется по следующей формуле:
1, РИНЦ (курсовая),
A
=
jr n
2, ВАК (внутренний грант),
3, Scopus (внешний грант) .
(3.49)
Разработанные алгоритмы расчета индикаторов типа
«Владеть» на уровне магистратуры
ПК-1.3. Владеет инструментами поиска в отечественной
и международной базах патентов:
A
+ R
ptn
pt
2
Q
pt
ptn
)
, (3.50)
– доля иностранных па-
pt
I
ãäå I
тентов; A
– текущая оценка ПК-1.3; R
1.3
– качество оформления; Qpt – число отчетов о па-
pt
Q
∑ (
n = 1
=
1.3
тентном поиске.
ПК-2.3. Владеет самостоятельной работой с экспериментальным оборудованием:
I
Q
dev
∑ (A
devn
n = 1
=
2.3
Qe + R
·D
·
devn
Q
de v
+ Te + Q
rec
4
me
)
, (3.51)
ãäå I
освоенных приборов; A
– текущая оценка ПК-2.3; dev1–devn – перечисление
2.3
– актуальность прибора; Qe – íîð-
dev
мализованное число самостоятельно проведенных экспериментов; R
– доля качественных записей от общего числа экспе-
rec
риментов; Te – нормализованное время проведения экспериментов; Qme – степень самостоятельности создания дизайна исследования на приборе; Q
– количество освоенных приборов.
dev
Данный индикатор является расширением аналогичного
индикатора на уровне бакалавриата, добавляя дополнительные оцениваемые параметры. В отличие от бакалавра, от магистра требуется уметь самостоятельно реализовать дизайн исследования программными инструментами прибора и также
156
3.3. Алгоритмы и методы оценки навыков
полностью самостоятельно выполнять все этапы проведения
эксперимента.
ПК-2.4. Владеет статистическим анализом научных данных, результатов экспериментов и наблюдений:
T
+ Q
stat
I
ãäå I
– текущая оценка ПК-2.4; T
2.4
=
2.4
дозатраты статистического анализа данных; Q
stat
, (3.52)
2
– нормализованные тру-
stat
– нормали-
stat
зованное количество использованных алгоритмов статистического анализа.
Данный показатель аналогичен индикатору первичного
анализа результатов экспериментов (формула (3.45)). Основные расчеты производятся сходным образом. Отличия имеются в более высоком классе используемых алгоритмов обработки данных, так как требования, предъявляемые к магистрам,
выше, чем у бакалавров.
ПК-2.5. Владеет написанием обзора научной литературы:
Q
+ R
+ R
+ A
Q
I
ãäå I
2.5
rev
∑ R
n = 1
=
2.5
– текущая оценка ПК-2.5; Q
srcn
npn
·
avt
ln
Q
re v
src
личество источников литературы в списке литературы; R
доля статей, вышедших за последние 5 лет; R
òà; Rln – доля литературы на английском языке; A
ствие текста обзора поставленной задаче (0,1); A
текста (экспертно 0..1); Q
– число обзоров литературы.
rev
+ A
revn
txtn
5
, (3.53)
– нормализованное ко-
–
– доля плагиа-
avt
– соответ-
rev
– качество
txt
npn
Все нормализованные величины вычисляются аналогично
формуле (3.44). Это дает возможность подразделению довольно гибко настраивать критерии качества.
Разработанные алгоритмы расчета индикаторов типа
«Владеть» на уровне подготовки кадров высшей
квалификации (аспирантура)
ПК-1.3. Владеет навыками внедрения результатов научноисследовательской работы:
157
Глава 3. Разработка и апробация алгоритмов и методов…
Q
i
∑ (Rpn · Ain)
n = 1
I
ãäå I
– текущая оценка ПК-1.3; Rp – доля личного участия;
1.3
=
2.8
Q
, (3.54)
i
Ai – оценка масштаба внедрения (экспертно 0..1); Qi – количе-
ство внедренных результатов НИР.
ПК-1.4. Владеет подготовкой отчета о практической реализации результатов научных исследований:
A
jn
)
3
Q
, (3.55)
ar
I
ãäå I
– текущая оценка ПК-1.4; Rp – доля личного участия;
1.4
Q
ar
∑ (Rpn ·
n = 1
=
1.4
Aj – уровень отчета; Qar – количество отчетов по внедрению ре-
зультатов НИР.
Преимуществами формализованной оценки компетенции
являются возможность наглядного предоставления результатов, выявление способности студента решать исследовательские задачи; своевременное внесение корректив в образовательный процесс для улучшения освоения студентом компетенций; оценивать компетенции в процессе выполнения работы и по ее завершению (Быков, Руденко, 2013; Колдина,
2013; Смирнова и др., 2017).
С целью возможности проведения формализованной оценки уровня сформированности компетенций был создан перечень параметров, требующих определения эталонных значений, и определены сами значения (табл. 3.10).
Таблица 3.10
Нормативные значения параметров, используемые для расчета
данных
Наименование
индикатора
Обозначе-
ние индика-
òîðà
Норма-
тивное
значение
Обоснование норматив-
ного значения
ПК-1.6. Владеет навыками поиска научной информации
в электронных библиографических базах
Нормативное количество найденных статей за от-
Q
pnu
100
четный период
158
Наименование
индикатора
Количество статей, использованных для написания
3.3. Алгоритмы и методы оценки навыков
Продолжение табл. 3.10
Обозначе-
ние индика-
òîðà
Норма-
тивное
значение
Обоснование норматив-
ного значения
Бакалавриат
Глумов А. Г., Хренкова В. В., Языкова И. М.
Подготовка, структура и оформление курсовых работ, выпускных квалификационных работ бакалавров,
выпускных квалифика-
A
50
p
ционных работ специалистов (дипломных),
магистерских диссертаций для студентов Академии биологии и биотехнологии им. Д. И.
Ивановского: учебнометодическое пособие. Ростов н/Д: Изд-во
ЮФУ, 2015. 58 с.
100 Магистратура
Рабочая программа дис-
Уровень авторского вклада
A
65 %
циплины «Государственная итоговая аттестация»
ПК-1.7. Владеет навыками первичного анализа результатов экс-
периментов
Нормативное количество использованных алгоритмов
Q
a
6
Определяется исходя
из образовательной программы кафедры
Определяется преподавателем инНормативные
трудозатраты
T
a
дивидуально для каждой ВКР в за-
висимости от объема и уровня
сложности материала
159
Глава 3. Разработка и апробация алгоритмов и методов…
Продолжение табл. 3.10
Наименование
индикатора
Обозначе-
ние индика-
òîðà
Норма-
тивное
значение
Обоснование норматив-
ного значения
ПК-2.4. Владеет работой с экспериментальным оборудованием
по готовому дизайну исследования
Нормативное количество приборов, обязательных к освоению
Актуальность
прибора и ПО
T
e
A
devn
5
0,75
Определяется исходя
из образовательной программы кафедры
Усредненные значения
актуальности используемых приборов и ПО
Определяется исходя
Нормативное количество качественных записей
R
rec
0,8
из способов первичной
математической обработки данных и требуемого объема выборки
психофизиологических
исследований
Определяется индивидуально для
Наличие дополнительных приборов и ПО
T
d
каждой ВКР в зависимости от цели
исследования, используется в каче-
стве добавочных баллов из расчета
0,125 балла за каждый
Нормативное
время проведения обследования
T
e
Определяется индивидуально для
каждой ВКР в зависимости от цели
исследования, сценария, вероятно-
сти аппаратных помех и т. д.
ПК-2.5. Владеет методами формирования адекватной эксперимен-
тальной базы данных (ЭБД) по проблеме
Нормативное количество параметров ЭБД
Нормативное количество публикаций, созданных с применением ЭБД
A
db
Q
db_p
5
5
Определяется количеством выполняемых параметров для сертификации
Определяется количеством публикаций, созданных на основании
материала, входящего
в базу данных
160
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]