Образовательная среда вуза как фактор профессионального самоопределения студентов. Часть 2. Монография
.pdf
s |
13 |
s |
|
|
s12
s11
s21
s |
22 |
s |
|
|
14 |
a |
|
1 |
a2
a3
a4
23 |
s |
24 |
s
s |
11 |
|
s
s |
13 |
s |
14 |
a |
|
|
|
|
|||
|
|
|
|
1 |
|
12 |
|
|
|
a |
2 |
|
|
|
|
||
|
|
|
|
|
a |
3 |
|
21 |
|
|
|
|
a |
4 |
|
|
|
|
|
|
|
s |
22 |
s |
23 |
s |
24 |
|
|
|
|
|
а б
Рисунок 10. Граф (а) и отношения между стилями учения и свойствами агентов (б)
Эмпиризму свойственны такие качества агентов, как убеждения и цели. Личность с рациональным способом мышления обладает некоторой постоянной составляющей знаний и определенными обязательствами по подтверждению выдвигаемых теорий. Для метафоризма свойственны определенные желания и ряд намерений, вытекающих из них.
Изобразим модель Дж. Ройса в виде двудольного графа G 3 = ( W, A 1 , M ) ( М – множество ребер), определяющего принадлежность определенных свойств «сильных» интеллектуальных агентов рассматриваемым способам мышления (рис.11).
w1 |
w2 |
w3 |
a11 |
a12 |
a13 |
a14 |
a15 |
a16 |
Рисунок 11. Принадлежность ментальных свойств способам мышления «сильных» интеллектуальных агентов
Представим данную модель в виде графа G4 = (K, N), где K – множество
вершин: K = {w1, w2, w3, a11, a12, a13, a14, a15, a16};
N – множество ребер:
N1 w1 a12 a15 ; N2 w2 a11 a16 ; |
N3 w3 a13 a14 . |
В результате проведенного анализа можно предложить классификацию способов мышления с использованием свойств «сильных» интеллектуальных агентов.
Целенаправленно-убежденный – способ мышления, характеризующий личность со сформированной системой убеждений и способностью тщательного моделирования стратегии поведения, направленной на подтверждение своих убеждений.
Компетентно-обязательный – способ мышления, свойственный личности с определенным багажом знаний, склонностью к логическому мышлению и способностью выдвижения и обоснования глобальных теоретических принципов на основе логических выводов и умозаключений.
Мотивационно-намеренный – способ мышления, присущий личности, строящей свою деятельность на основе желаний и вытекающих из них намерений, сформированных на основе разнообразных впечатлений и комбинирования знаний из разных предметных областей. Данный способ мышления характеризуется склонностью к символизации и глобальности понимания происходящего.
Педагогические измерения относятся к числу сравнительно малоисследованных направлений педагогической науки и образовательной практики. Они возникли в конце ХIХ – начале ХХ века за рубежом, вначале в Англии, США и Франции. В течение ста лет к этим трём странам добавились Австралия, Нидерланды, Израиль, Южная Корея, Япония. За прошедший век педагогические измерения превратились в одно из развивающихся направлений зарубежной педагогической науки. Начало развития теории и практики психологических и педагогических измерений можно проследить, начиная с работ Ф. Гальтона, Э. Торндайка, А. Бине. Практика измерений существовала тогда в форме применения вопросов и заданий, с последующим суммированием баллов испытуемых за каждое задание. Эти баллы назывались тестовыми, и они воспринимались как результаты педагогических измерений.
Педагогическое измерение представляет собой процесс определения меры интересующего свойства личности испытуемых на латентной интервальной шкале посредством качественного теста, состоящего из системы заданий равномерно возрастающей трудности, позволяющего получать педагогически целесообразные результаты, отвечающие критериям надёжности, валидности, объективности и эффективности.
Задача повышения качества образования на всех его этапах является на сегодняшний день первоочередной. Информационной основой любой системы оценки и управления качеством образования должен стать комплексный мониторинг качества образования студентов. Одним из путей создания научно обоснованных систем мониторинга в образовании является использование методов квалиметрии, позволяющих стандартизировать, алгоритмизировать процедуры оценивания и измерения и создавать системы квалиметрического мониторинга как составной части квалитологии образования [1; 2]. При этом мониторинг должен обладать обратной связью, позволяющей своевременно корректировать как учебные планы и программы, так и сам учебный процесс.
При тестировании студенту выдается задание текущего уровня сложности (S). При правильном ответе учитывается количество правильных ответов, вычисляется процент правильных ответов и изменяется их сложность. Затем вычисляется новый уровень подготовки (S1) как функция от текущего уровня подготовки S, процента правильных ответов, уровня сложности и времени ответа на вопрос. После чего определяется G1=G(S1).
Если количество выданных заданий меньше некоторого критического количества заданий, на которое студент должен ответить в пределах одного уровня сложности и G = G1, то учащемуся выдается следующее задание. Если предыдущее условие не выполнилось, выясняется причина ошибки. Если превышено критическое количество вопросов, то уровень подготовки студента полагается равным S1, и он получает оценку R = R(G(S1)). На этом процедура тестирования завершается. Если изменилась группа, т.е. G G1, то устанавливается S=S1, G=G1, количество заданных вопросов и правильных ответов обнуляются, и происходит возврат к выдаче вопросов.
Процедура адаптивного тестирования (сложность заданий изменяется в зависимости от количества правильных ответов студента) использует аппарат нечеткой математики (понятия уровня подготовки, правильности ответа на задание, сложности заданий и другие являются нечеткими). Уровень подготовки зависит от следующих параметров: текущего уровня подготовки S; процента правильных ответов p; сложности задания T; времени ответа на задание tотв. Все указанные параметры являются нечеткими: S1 = f (S, p, T, tотв) и влияющими друг на друга следующим образом:
чем выше процент правильных ответов, тем выше уровень подготовки;
чем выше сложность заданий, тем выше уровень подготовки;
чем больше время ответа на задание, тем ниже уровень подготовки. Учет времени ответа на задание введен для того, чтобы учесть возмож-
ность несамостоятельного ответа на вопросы: студент может долго искать ответ в учебнике, а в итоге его оценка все равно будет низкой, даже если на все вопросы он ответил правильно. С другой стороны, если он не пользовался подсказками, а долго думал над ответами, это означает, что он недостаточно хорошо изучил материал, а в результате даже при правильных ответах оценка будет снижена. Однако для каждого задания устанавливается максимальное время, в течение которого уменьшения оценки не происходит, чтобы обучаемый имел возможность прочитать вопрос и варианты ответов, осмыслить их и выбрать правильный ответ. По истечении этого времени оценка начинает уменьшаться.
Адаптивное тестирование, как интеграция технологий дифференцированного (Е.Р. Аргуно, Н.В. Борисова, А.А. Вербицкий, П.А. Юцявичене, Т.И. Шамова, Е.А. Ямбург и др.), развивающего (Л.С. Выготский, А.Н. Леонтьев, П.Я. Гальперин, Л.В. Занков, Д.Б. Эльконин, В.В. Давыдов и др.), индивидуализированного (М.К. Акимова, Э.Ф. Зеер, О.Р. Клюева, Т.В. Машарова и др.) обучения, а также технологии сотрудничества (А.В. Луначарский, С.Т. Шацкий, П.П. Блонский, Е.Н. Ильина, А.К. Маркова и др.), создает педагогические условия для включения каждого студента в деятельность, соответствующую его
развитию, предполагает гибкую организацию занятий с учетом индивидуальной подготовки студентов, что способствует осознанию ими своих способностей, активной значимой роли в учебном процессе.
Правильная методика проведения контроля, знание и творческая реализация методов, приемов и средств управления учебно-познавательным процессом позволяют успешно решать учебные задачи и достигать поставленных образовательных целей. В вопросах, связанных с теорией измерений, основное место отводится понятию шкалы измерения. В зависимости от того, по какой шкале идет измерение, экспертные оценки содержат больший или меньший объем информации
иобладают различной способностью к математической формализации.
Шкала наименований или классификации (используется для описания принадлежности объектов к определенным классам; всем объектам одного и того же класса присваивается одно и тоже число).
Шкала порядка (применяется для измерения упорядочения объектов по одному или совокупности признаков; числа в шкале порядка отражают только порядок следования объектов и не дают возможности сказать, насколько один объект предпочтительнее другого).
Шкала интервалов (применяется для отображения величины различия между свойствами объектов; шкала может иметь произвольные точки отсчета и масштаб).
Шкала отношений (используется для отражения отношения свойств объектов, т.е. во сколько раз свойство одного объекта превосходит свойство другого); шкала обладает свойством аддитивности, которое выражается следующими аксиомами: (если j = a и i > 0, то i + j > a; i + j = j + i), (если i = a и j = b,
то i + i = a + b, (i + j) + k = i + (j + k)).
Шкала разностей (используется для измерения свойств объектов при необходимости выражения: во сколько один объект превосходит другой по одному или нескольким признакам).
Абсолютная шкала (в шкале обозначается нулевая точка отсчета и единичный масштаб; применяется для измерения непрерывных свойств объектов).
При проведении экспертиз важным условием успеха является возможность формализовать информацию, не поддающуюся количественному измерению так, чтобы помочь принимающему решение эксперту выбрать из множества решений единственное. При ранжировании эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими показателями сравнения. Парная оценка или метод парных сравнений представляет собой процедуру установления предпочтений объектов при сравнении всех возможных пар. Непосредственная оценка представляет собой процедуру приписывания объектам числовых значений по шкале интервалов. Этот метод может быть осуществлен только при полной информированности экспертов о свойствах объектов. Вместо числовой оси может использоваться балльная оценка. Последовательное сравнение включает в себя ранжирование и непосредственную оценку.
Методы проведения групповых экспертиз подразделяются на: очные и заочные; индивидуальные и коллективные; с обратной связью и без обратной связи.
При очном методе проведения экспертизы эксперт работает в присутствии организатора экспертизы. Эта необходимость может возникнуть, если задача поставлена недостаточно четко или если поставленная задача очень сложна и может возникнуть необходимость в ее уточнении. Эксперт может обратиться к организатору за разъяснением. При проведении очного опроса требуется больше времени, так как организатор экспертизы работает с каждым участником лично, но при сложности поставленной задачи это компенсируется большей точностью полученных результатов.
При коллективном методе проведения экспертизы поставленная проблема решается сообща (группа специалистов коллективно оценивает исследуемую проблему). При такой организации на группу может быть оказано давление одним из авторитетных ее членов, который может лучше, чем другие, отстаивать свое мнение. Но в этом случае вероятность получения решения поставленной задачи больше. Этот метод рекомендуется при необходимости найти решение в кратчайшие сроки. При индивидуальном методе – каждый эксперт оценивает проблему, исходя из личного опыта и убеждений.
Метод проведения экспертизы с обратной связью (метод Дельфы) предусматривает проведение нескольких туров опроса и анонимное анкетирование. После каждого тура экспертные оценки обрабатываются, и результаты обработки сообщаются экспертам. Проведение экспертизы методом Дельфы связано с большими затратами времени, так как в этом случае необходимо провести несколько туров. Но сообщение результатов предыдущего тура и последующий опрос позволяют добиться уменьшения диапазона разброса в индивидуальных ответах и сблизить точки зрения экспертов. Экспертиза заканчивается, когда достигнута достаточная сходимость ответов экспертов. Опыт показывает, что чаще всего достаточно бывает проведения четырех туров. Метод применяется обычно в прогнозировании, когда имеется большая степень неопределенности.
Экспертиза без обратной связи может проводиться при хорошей информированности экспертов в области поставленной задачи. Метод без обратной связи предусматривает один тур опроса при получении удовлетворительных результатов.
Каждый метод имеет ряд достоинств и недостатков и при выборе определенного метода необходимо хорошо проанализировать все положительные и отрицательные стороны метода. Для определения начального набора данных (разбивка дисциплин на модули, определение их объема и тезауруса) обычно используется коллективный метод. Это оправдано тем, что в данном случае необходимо достичь согласия экспертов. Методом экспертных оценок определяются два параметра: коэффициент значимости модуля для профессиональной подготовки и коэффициент тесноты связи между модулями. И в том, и в другом случае используется заочный метод анкетирования без обратной связи, так как экспертам предоставляется достаточная количественная информация.
Уровневое функционирование педагогических измерений осуществляется в три этапа. Первый уровень педагогических измерений связан с практической
деятельностью, похожей на тестирование. Второй уровень связан с практикой тестирования, опирающейся на отдельные элементы теории педагогических элементов. Третий уровень включает активное развитие теории педагогических измерений и эффективную практическую деятельность по разработке научнообоснованных методов измерения (методологии).
Определим основные направления развития педагогических измерений:
полное отграничение (демаркация) педагогических измерений от псевдометрических форм и методов; совершенствование форм тестовых и нетестовых педагогических заданий; улучшение содержания тестовых заданий; разработка критериев качества и эффективности педагогических измерений [2].
На рис.12 приведена классификация методов контроля учебного процесса.
Рисунок 12. Методы организации контроля знаний (МС – модель студента; УМ – учебный материал)
Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого студента формируется до контроля (заранее или непосредственно перед контрольным заданием (КЗ)), что, с одной стороны, повышает скорость контроля (не требуется поиск задания в БД и его загрузка), с другой – позволяет выдавать задания двумя способами: по одному или списком. Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. Адаптивное тестирование представляет собой широкий класс методик тестирования, предусматривающих изменение последовательности предъявления заданий в самом процессе тестирования с учетом ответов испытуемого на уже предъявленные задания. На рис.13 представлена схема алгоритма применения адаптивного тестирования в педагогическом управлении.
|
Организация учебного процесса по |
|
конкретной дисциплине (постановка |
|
целей и задач, разбиение на модули и т.д.) |
Выделение |
Создание когнитивных моделей |
элементарных |
связи между элементарными |
дидактических |
дидактическими единицами и |
единиц |
учебными заданиями |
Создание и применение наборов педагогических знаний
Сохранение и анализ результатов тестирования
Оценка |
Анализ |
Оценка трудности |
|
результатов |
заданий и балла |
||
обученности |
|||
образовательного |
(рейтинга) за их |
||
тестируемого |
|||
процесса |
выполнение |
||
|
КоррекцияКоррекциядидактическогдидактическогопроцессапроцесса
Рисунок 13. Технология применения адаптивного тестирования в педагогическом управлении
Основные требования, позволяющие достичь объективных результатов измерения, были сформулированы в работах Г. Раша и его последователей:
1.Параметры математических моделей для измерения свойств заданий и испытуемых не должны быть взаимно зависимы.
2.Метод измерения должен быть сравнительно легким, компьютеризованным, полностью (по возможности) технологичным.
3.Для начинающих исследователей считается наиболее приемлемой одномерная модель измеряемого свойства. Продвинутые авторы, имеющие подходящее математическое и статистическое образование, тяготеют к многомерным моделям измерения.
4.Получаемые значения в процессе педагогических измерений должны отвечать требованиям линейности шкалы, что обеспечивает сравнительно удобные варианты математических аксиом и операций, а также интерпретации результатов.
5. Монотонность отображения измеряемого свойства испытуемых или заданий в числовую шкалу.
Модель Раша превращает измерения, сделанные в дихотомических и порядковых шкалах в линейные измерения, в результате качественные данные анализируются с помощью количественных методов. Это позволяет использовать широкий спектр статистических процедур. Оценка трудности тестовых заданий не зависит от выборки студентов, на которых была получена и, аналогично, оценка уровня знаний студентов не зависит от используемого набора тестовых заданий. Пропуск данных для некоторых комбинаций (испытуемый – тестовое задание) не является критическим. Сама система тестирования достаточно проста, по сравнению с другими аналогичными системами она характеризуется наименьшим числом параметров – только один параметр уровня знаний для каждого студента (испытуемого) и только один параметр трудности для каждого задания.
Основной математической моделью является однопараметрическая логистическая функция Раша, называемая характеристической кривой, имеющая
вид:
P |
|
1 |
|
|
|
|
|
|
|
j |
1 |
exp( |
|
) |
|
j |
|||
|
|
|
|
, где Pj – вероятность правильного ответа испытуемых на
задание определённого уровня трудности под номером j; δ – уровень трудности j-го задания теста; θ – уровень знаний (латентная переменная).
Модель Раша опирается на четкие и конструктивные понятия «трудность задания» и «уровень знаний». Так, одно задание считается более трудным, чем другое, если вероятность правильного ответа на первое задание меньше, чем на второе, независимо от того, кто их выполняет. Благодаря простой структуре модели существуют удобные вычислительные процедуры для многоаспектной проверки адекватности модели: для всего набора тестовых результатов; для каждого испытуемого; для каждого задания; для каждого конкретного ответа. «Остатки», получаемые при аппроксимации результатов тестирования моделью можно использовать для выделения различных типов испытуемых.
Начальная оценка уровня знаний испытуемого определяется по формуле:
|
i |
|
|
p |
|
ln( |
i |
|
q |
||
|
||
|
i |
)
, где pi, qi – соответственно доля правильных и неправильных отве-
тов i-го испытуемого. Аналогично определяется начальная оценка уровня труд-
ности задания теста j ln( q j ) . p j
Чем выше крутизна функции P, тем уже интервал, на котором это задание работает. Таким образом, возможно улучшение модели Раша за счет введения в
выражение параметра aj, который даёт информацию о задании (с точки зрения оценки его дифференцирующей способности) на заданном интервале:
Pj 1 exp a1j ( j ) .
Для практики педагогических измерений одним из наиболее важных критериев является точность оценивания: чем выше точность, тем лучше работает
модель. На основе имитационного моделирования исследуется точность и трудность оценивания уровней знаний, а также число итераций, требуемых для вычисления этих оценок в многофакторной ситуации в зависимости от диапазона уровней знаний студентов и степени трудностей заданий; числа студентов и заданий; степени соответствия данных модели и количества пропущенных данных (рис.14).
Начало
|
Выбор |
|
|
режима |
|
Выбор теста |
Выход |
|
|
||
Персональные |
Конец |
|
данные |
||
|
|
Тестовый |
|
|
|
режим |
|
|
Аудио |
Видео |
Следующий вопрос |
Нетответа |
Выполнение |
|
|
|
|
|
|
Да |
|
|
Подтверждение |
|
|
Нет |
выбора |
|
Следующий вопрос |
|
Последний |
|
|
вопрос |
||
|
|
Нет |
|
|
|
|
|
|
|
|
Да |
Перечень ответов |
|
Вывести |
|
|
результаты |
||
|
|
Нет |
|
|
|
|
|
|
|
|
Да |
Базовые функции
Проверка
полномочий Нет
Да
Базовые функции
Выход
Изменение паролей
Исключение тестов
Импорт / Экспорт
Редактирование тестов
Ввод новых тестов
Рисунок 14. Имитационное моделирование процесса тестирования знаний
Для статистической обработки результатов моделирования используется многофакторный дисперсионный анализ.
Под адаптивным тестированием понимается процесс контроля в форме тестовых методик через обучающие тесты градуированного (уровневого) характера и собственно контроль, корректно учитывающий индивидуальноличностные особенности студентов. Границы применения адаптивного тестирования не замыкаются на проверке знаний или способностей. Адаптивный те-
стовый контроль представляет собой компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов.
Пусть на каждом шаге тестирования по каждому уровню сложности студенту даётся два задания, и по результатам ответов на них определяется уро-
вень сложности для следующих заданий. Вводится коэффициент
kT
|
100 |
|
m |
||
|
, где m
– количество уровней сложности [1].
Введем обозначения: t – текущий уровень знаний студента; tн – нижний уровень знаний; tв – верхний уровень знаний. Все уровни знаний оцениваются от 0 до 100 (0 – нет знаний; 100 – абсолютное знание). Тогда алгоритм адаптивного тестирования сводится к последовательности шагов.
Шаг 1. Начальные данные: t = 50; tн = 0; tв = 100.
Шаг 2. Вычисление текущего уровня сложности: |
T |
t |
. |
||||||||||||||
k |
|||||||||||||||||
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
T |
|
|
Шаг 3. Выдача заданий сложности T и получение ответов на них |
|||||||||||||||||
(kпр – количество правильных ответов ( |
k |
пр |
[0, 2] |
). |
|
|
|||||||||||
|
|
|
|
||||||||||||||
Шаг 4. Пересчет уровня знаний: |
|
|
|
|
|
|
|||||||||||
Если kпр = 2, то tн = t; tв = tв + 0,5t. |
|
|
|
|
|
|
|||||||||||
Если tв > 100, то tв = 100. |
|
|
|
|
|
|
|
||||||||||
Если kпр = 1, то tн = tн / 4; tв = tв + 0,1t. |
|
|
|
||||||||||||||
Если kпр = 0, то tн = tн / 2; tв = t. |
|
|
|
|
|
|
|||||||||||
Шаг 5. Вычисление t1 |
|
t |
в |
t |
н |
. |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
Шаг 6. Если |
|
t t |
|
|
, то уровень знаний равен t1 (завершение тестирова- |
||||||||||||
|
|
||||||||||||||||
|
1 |
|
|
||||||||||||||
ния), а иначе перейти к шагу 2 ( устанавливается исходя из необходимой точности оценки знаний).
С уменьшением возрастает число вопросов, необходимых для включения в тест. Надежность результатов тестирования в данном случае самая высокая, так как осуществляется адаптация под уровень знаний конкретного студента, что обеспечивает более высокую точность измерений. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня или когда будет задано максимальное количество вопросов.
На рис.15 и рис.16 изображены графики процесса оценки уровня компетенции более подготовленного и менее подготовленного тестируемого студента. Вертикальные пунктирные линии показывают величину ошибки определения оценки тестируемого (уровень доверия к набранным баллам). Чем больше вопросов было задано и чем больше правильных ответов было дано, тем меньше величина ошибки.
