Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Комплексный подход к объективной оценке уровня сформированности компетенций в условиях цифровой образовательной среды. Монография
.pdf
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
ãäå No – максимальное количество баллов открытой части равно 2,5;
Эtry = · 100 %, (3.3)
Ntry
5
ãäå Ntry – количество попыток равно 5.
Из табл. 3.5 видно, что высокая эффективность (80–90 %)
выполнения теста закрытой части имеет слабую корреляцию
с показателями количества правильных ответов или количества набранных баллов за исключением теста 5 и теста 1 (по
Nass). Следовательно, на 10–15 % эффективности закрытой
части тестирования могут оказывать влияние неучтенные независимые факторы.
Таблица 3.5
Рассчитанные виды эффективности закрытой части тестов
и их коэффициенты корреляции
Количество
вопро-
ñîâ,
Nz
Òåñò 1 30 82,77+3,75 (r1 = –0,35) 80,22+4,09 (r2 = 0,99)
Òåñò 2 20 91,05+3,25 (r1 = –0,04) 85,83+3,38 (r2 = –0,14)
Òåñò 4 40 91,15+2,64 (r1 = 0,25) 87,31+3,18 (r2 = 0,31)
Òåñò 5 45 91,04+2,25 (r1 = 0,46) 84,43+3,69 (r2 = 0,45)
Примечание. DI – доверительный интервал, r1 – коэффициент кор-
реляции Тz è Эcor, r2 – коэффициент корреляции Тz è Ýass.
Средняя эффектив-
ность по количеству
правильных ответов,
Ýcor, %±DI
Средняя эффектив-
ность по количеству
набранных баллов,
Ýass, % ± DI
Расчеты показали, что высокая эффективность (80–
90 %) выполнения теста закрытой части имеет слабую корреляцию с показателями количества правильных ответов или
количества набранных баллов за исключением теста 5 и теста
1. Следовательно, на 10–15 % эффективности закрытой части
тестирования могут оказывать влияние неучтенные независимые факторы.
Тестирование открытой части (табл. 3.6) наблюдается
с меньшей эффективностью, но с большей корреляцией от факторов. Эффективность открытой части тестирования, в зависи-
51
Глава 3. Разработка и апробация алгоритмов и методов…
мости от количества попыток выполнения заданий и количества правильных ответов, имеет сильную положительную
корреляцию и составляет 60–85 % и 45–70 % соответственно. От количества набранных баллов эффективность умеренная (30–50 %). Следовательно, эффективность выполнения открытой части тестов коррелирует с количеством выполненных
заданий. Однако полностью не определяет его.
Таблица 3.6
Рассчитанные виды эффективности открытой части тестов
и их коэффициенты корреляции
Среднее
время вы-
полнения
открытой
части,
Тz±DI
Òåñò 1 8,29+1,26
Òåñò 2 6,08+0,84
Òåñò 4 6,32+1,37
Òåñò 5 10,61+1,82
Примечание. DI – доверительный интервал, r1 – коэффициент кор-
реляции Тz и Эcor, r3 – коэффициент корреляции Тz è Эass, r2 – коэффициент корреляции Тz è Эtry.
Средняя эф-
фективность
по количеству
правильных
ответов,
Эcor, % ± DI
65,55+7,3
(r1 = 0,6)
58,68+8,05
(r1 = 0,67)
45,9+6,6
(r1 = 0,49)
68,66+8,71
(r1 = 0,69)
Средняя эффективность
по количеству
попыток,
Эtry, % ± DI
84,09+6,7
(r2 = 0,46)
70,79+7,85
(r2 = 0,73)
58,46+7,6
(r2 = 0,58)
76,41+8,9
(r2 = 0,69)
Средняя эф-
фективность
по количеству
набранных
баллов,
Эass, % ± DI
39,75+5,9
(r3 = 0,55)
30,79+7,37
(r3 = 0,38)
34,6+5,23
(r3 = 0,50)
50,75+7,02
(r3 = 0,65)
Критериями выполнения теста являются: время выполнения и количество набранных баллов. Так, выполнение теста
лимитировано временем, которое обучающемуся необходимо
самостоятельно распределить на задания разных частей. Кроме того, минимальным требованием выполнения теста является выполнение 60 % и более заданий (набор 1,5 балла). Соотношение между набранными баллами и классической шкалой
балльного оценивания показано в табл. 3.7.
52
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
Таблица 3.7
Соответствие баллов, набранных при выполнении теста,
балльной системе оценивания
Соотношение балль-
Оценка
Отлично 85–100 2,12–2,5
Хорошо 71–84 1,77–2,11
Удовлетворительно 60–70 1,5–1,76
Неудовлетворительно < 59 < 1,49
ной системы оцени-
вания, %
Количество баллов
Подбор параметров для построения эмпирической модели
С целью подбора параметров для построения эмпирической
модели был проведен корреляционный статистический анализ
с визуализацией данных.
Для построения функции регрессии в качестве переменных
выборки были выбраны: зависимость времени выполнения теста (T) от количества правильно отвеченных вопросов (Ncor)
или количества набранных баллов (Nass). Использование графического подхода (рис. 3.1) показало, что зависимость времени выполнения теста от количества правильно отвеченных вопросов носит полиноминальный характер с коэффициентами
детерминации 0,015; 0,02; 0,05 для разных тестов.
Рис. 3.1. Зависимость времени выполнения закрытой части теста
(Тz, мин) от количества правильно отвеченных вопросов (Ncor)
для теста 1 и теста 2. На рисунке указаны уравнения регрессии
(полиномиальные тренды) и коэффициенты детерминации
53
Глава 3. Разработка и апробация алгоритмов и методов…
Использование графического анализа позволяет визуализировать зависимость времени выполнения теста открытой части от количества набранных баллов полиноминального характера с коэффициентами детерминации 0,4; 0,6 (рис. 3.2).
Такой уровень коэффициента детерминации свидетельствует
о том, что влияющие факторы, описанные в модели, учтены
на 40–60 %.
Рис. 3.2. Зависимость времени выполнения открытой части
теста (Т, мин) от количества набранных баллов (Nass) äëÿ
теста 4 и теста 5. На рисунке указаны уравнения регрессии
(полиномиальный и логарифмический тренды) и коэффициенты
детерминации
Использование статистического метода анализа было необходимым для поиска и оценки значимости основных факторов, влияющих на качество выполнения открытой и закрытой
части тестов. Однофакторный дисперсионный анализ ANOVA
показал, что основными факторами, влияющими на время
выполнения открытой части тестирования, были: количество
правильных ответов с коэффициентом корреляции r = 0,5–
0,65; количество набранных баллов с r = 0,4–0,65 (табл. 3.8).
Указанные коэффициенты корреляции свидетельствуют о статистически значимой положительной связи между переменной и зависимыми факторами.
Однофакторный анализ параметров закрытой части тестирования показал, что корреляция слабая положительная
r ≤ 0,3, в некоторых тестах слабая отрицательная.
54
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
Таблица 3.8
Результаты корреляционного анализа параметров открытой
части тестов
t · Ncor T · Ass Ncor · Ass Ass · try
Òåñò 1 0,60 0,55 0,88 0,58
Òåñò 2 0,67 0,38 0,37 –0,12
Òåñò 4 0,49 0,5 0,93 –0,18
Òåñò 5 0,68 0,64 0,95 0,88
Примечание. В таблице указаны факторы для корреляционного
анализа: t – время выполнения открытой части теста, Ncor – количество правильных ответов, Ass – оценка в баллах, try – количество по-
пыток просмотра вопросов.
Статистический анализ качества тестирования с использованием балльной системы, описанной в методике, свидетельствует о статистически значимом влиянии фактора качества:
«отлично, хорошо, удовлетворительно, неудовлетворительно»
в случае закрытой части тестирования, где уровень значимости р < 0,05 (табл. 3.9). Наиболее значимые коэффициенты
корреляции получены для открытой части теста.
Таблица 3.9
Статистический анализ качества тестирования
Òåñò 1
Òåñò 2
Òåñò 4
Òåñò 5
Оценка качества закрытой
части тестирования, баллы
р = 0,19 (F = 1,58) р = 0,06 (F = 2,54)
р = 0,18 (F = 1,65) р = 0,001 (F = 5,76)
р = 0,98 (F = 0,08) р = 0,02 (F = 3,58)
р = 0,37 (F = 1,06) р = 0,0006 (F = 6,65)
Оценка качества открытой
части тестирования, баллы
Для построения корреляционной матрицы была использована балльная система, время выполнения теста и количество
правильных ответов, как статистически значимые факторы.
Облако диаграммы рассеивания показано на рис. 3.3.
Из рис. 3.4 можно сделать вывод о том, что качество и эффективность выполнения заданий зависит от уровня подготовки обучающегося, сложности тестирования, уровня внимания
и объема памяти, а также скорости принятия решения. Визуализация результатов тестирования (количество выполненных
заданий) в зависимости от затраченного времени может высту-
55
Глава 3. Разработка и апробация алгоритмов и методов…
Рис. 3.3. Зависимость времени выполнения открытой части теста
(Т, мин) от количества правильно отвеченных вопросов (Ncor)
в зависимости от качества выполнения для теста 1. На рисунке
указаны уравнения регрессии (полиномиальный тренд)
и коэффициенты детерминации. Геометрическими символами
отражено качество выполненного теста по балльной системе
Рис. 3.4. Сопоставление количества набранных баллов (по оси
ординат) и времени выполнения тестовых заданий. Обозначения:
геометрическими символами отмечены ответы групп разного
качества выполнения
пать в качестве прогноза успеваемости и эффективности деятельности обучающегося.
Ввиду повышенной гетероскедастичности исследуемых параметров тестирования построение уравнения линейной ре-
56
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
грессии и стандартных моделей полиномиального характера
затруднено.
Следовательно, в настоящее время нами были подобраны
факторы и параметры тестирования, которые в дальнейшем
будут подвергнуты детальному математическому и статистическому анализу с оценкой качества, построением эмпирической модели и расчетом ошибки аппроксимации.
Полученные данные положены в основу разработки системы оценки эффективности и качества выполнения тестов
(рис. 3.5).
Рис. 3.5. Эффективность выполнения тестирования:
Т
– оптимальное время для выполнения теста;
îïò
N
пороговое количество баллов (≥ 60)
ïîð –
Система оценки эффективности выполнения теста (см.
рис. 3.5) построена на соотношении показателей качества
и своевременности выполнения заданий, которое может быть
представлено в прямоугольной системе координат, где по оси
абсцисс откладывается время выполнения теста (Т, мин),
а по оси ординат – количество набранных баллов (N). Каждая точка на графике является отражением выполнения одного вида теста (закрытой части или со свободно конструируемым ответом).
57
Глава 3. Разработка и апробация алгоритмов и методов…
Оптимальное время выполнения и пороговое значение набранных баллов – критерии, которые позволяют разделить
плоскость графика на четыре квадранта.
Верхние квадранты свидетельствуют об успешном выполнении заданий с высоким качеством (A и B), нижние квадран-A и B), нижние квадран- и B), нижние квадран-B), нижние квадран-), нижние квадранты (C и D) – с низким, где фиксируются отметки «неудовлет-C и D) – с низким, где фиксируются отметки «неудовлет- и D) – с низким, где фиксируются отметки «неудовлет-D) – с низким, где фиксируются отметки «неудовлет-) – с низким, где фиксируются отметки «неудовлетворительно» и «удовлетворительно».
При попадании значений в квадрант наблюдается:
1) А – «компенсированное состояние», свидетельствует
о выполнении заданий с высоким качеством при увеличении
затраченного времени;
2) B – «предикативное состояние», которое означает, что
задания выполняются с высоким качеством и минимальным
затраченным временем;
3) C – неоптимальное, когда задания выполняются с низ-C – неоптимальное, когда задания выполняются с низ- – неоптимальное, когда задания выполняются с низким качеством;
4) D – дескриптивное, когда задания выполняются с низ-D – дескриптивное, когда задания выполняются с низ- – дескриптивное, когда задания выполняются с низким качеством и затрачивается много времени.
Таким образом, разработанная система оценки эффективности выполнения теста на основе соотношения показателей
качества и своевременности выполнения заданий компьютерного тестирования в системе Moodle позволяет определить
стратегию выполнения заданий.
Применение метода измерения временных затрат
при решении тестовых задач
Перспективным подходом для оценки трудозатрат студентов является оценка распределения бюджета времени на отдельные виды операций при выполнении учебных заданий
(Айдаркин и др., 2011; Щербина, Айдаркин, 2012). Задачей
данной работы был поиск связи успешности выполнения задания с суммарным временем, потраченным на тот или иной вид
учебной деятельности, содержащий вербальную и образную
информацию. В данном исследовании был применен метод
оценки трудозатрат студентов на основе хронометрии микроопераций в ходе самостоятельных занятий студентов-биологов.
Самостоятельная работа студентов моделировалась в дисплейном классе на компьютерах, подключенных к локальной образовательной сети. Для анализа были взяты следующие виды
58
3.1. Алгоритмы и методы оценки знаниевой компоненты компетенции
учебной деятельности, неодинаковые по содержанию и степени сложности:
– решение теоретических задач по двум учебным специализированным курсам с использованием разработанных нами
интерактивных электронных учебных пособий;
– решение теоретических задач по аналогичным учебным
курсам с использованием стандартного образовательного портала Moodle;
– выполнение заданий по написанию разделов выпускной
квалификационной работы.
На основании результатов сопоставления временных затрат
по разным типам деятельности была предложена мера для
оценки сбалансированности временных трудозатрат. Преимуществом данной оценки является отсутствие вмешательств
в реальный учебный процесс, что позволяет проанализировать
структуру деятельности и причины ошибочных ответов студентов, не создавая внешней помехи.
Далее приведены результаты анализа временных затрат
при выполнении тестов открытого и закрытого типа в среде Moodle в рамках курса «Частная физиология центральной
нервной системы». В настоящем исследовании по результатам апробации метода было проведено оценивание распределения бюджета времени при выполнении учебных заданий. Указанный спецкурс является базовым при освоении специализации «Физиология человека и животных» и включает освоение
и систематизацию большого количества теоретического материала. Для анализа были взяты два типа заданий:
– Тесты: блок заданий, содержащий вопросы теста закрытого типа. При выполнении данных заданий студенты выбирали правильный ответ из предлагаемых. Каждый вопрос
включал не менее 4 вариантов ответов. Каждый тест включал не менее 25 вопросов, выбираемых случайным образом
для каждого студента из соответствующего раздела Банка вопросов.
– Контрольная работа: блок заданий, содержащий теоретические или эмпирические вопросы, ответ на которые подразумевал написание небольшого фрагмента текста, работу
с рисунками, а также выводы из упрощенной научной задачи. Каждая контрольная работа включала 7–10 вопросов. Для
59
Глава 3. Разработка и апробация алгоритмов и методов…
ее выполнения требовалось дать развернутый ответ на проблемный или теоретический вопрос, а также проанализировать предлагаемые рисунки и дать ответы на вопросы к ним.
Данный раздел требовал привлечения литературного материала и завершался теоретическим выводом.
Выполнение тестов и контрольных работ происходило
в специальной среде с нелинейным редактированием в образовательной системе Moodle. В данной системе происходила автоматическая оценка количества правильных ответов при выполнении тестов с учетом критического рубежа, указанного
преподавателем. Также в системе Moodle преподаватель проверял контрольные работы и выставлял оценки.
В процессе формулирования ответов на вопросы студенты
работали с теоретическим материалом и иллюстрациями и давали ответ путем набора текста на клавиатуре. В зависимости
от содержания задания требовался ответ в виде развернутого текста, описания рисунка и ответа на вопросы к нему либо
в виде выполнения задания с использованием описания реального физиологического эксперимента или адаптированных
экспериментальных данных. Задание также могло заключаться в выполнении сложной теоретической задачи, посвященной
какой-либо учебно-научной задаче или требующей сопоставления набора фактов.
Специальная программа протоколировала заголовок текущего окна, по которому определялся вид учебной операции,
выполняемой в данный момент времени. В этом случае ввиду
разработки параметров оценки учебной деятельности анализировались следующие виды работ:
1. «Тестирование»: чтение вопросов теста и выбор варианта
ответа из предлагаемых.
2. «Контрольная работа»: написание ответов на вопросы
контрольной работы, правка текста, вставка рисунков.
3. «Интернет»: поиск информации с использованием поис-
ковых систем Yandex, Google и т. д.
4. «Работа с литературой» – работа с текстами учебных пособий, предлагаемых в рамках списка литературы в системе
Moodle.
Виды работ, связанные с подготовкой к работе в учебной
среде, – регистрация, авторизация, запуск теста или кон-
60
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]