Проектирование технологии квалиметрического оценивания профессиональных компетенций студентов технического вуза (90

Рассматриваемые в блоке подходы определяют внутренние связи принципов (целесообразности, систематичности и последовательности, синергетизма, компетентности, рефлексивности, позитивного стимулирования, объективности, валидности, наглядности и диагностичности), задач (организация систематического мониторинга, коррекция содержания образования, внедрение новых образовательных технологий, формирование компетенций, развитие навыков рефлексивной деятельности, поддержание познавательных интересов и учебных мотивов) и функций оценивания компетенций (диагностической, организационно-коррекционной, мотивационно-презентативной, рефлексивнооценочной, аналитической, прогнозирующей, агрегирующей, опережающей).

Структурно-содержательный блок включает в себя соотношение следующих элементов: природы процесса оценивания, свойств процесса оценивания, свойств предмета оценивания и компоненты компетенций.

Критериальный блок определяет направления измерений в соответствии с указанными выше компонентами компетенций (праксеологическое, когнитивное, деятельностное, аксиологическое, рефлексивное), возможные шкалы измерений для каждого из компонентов, критерии и показатели оценивания. Данные элементы обуславливают уровни сформированности профессиональных компетенций: профессионально-адаптивный, профессионально-технологический, профессионально-исследовательский.

Организационно-деятельностный блок определяет этапы оценивания (предварительный, текущий, промежуточный и итоговый), возможных экспертов оценивания, методы оценивания, формы представления результатов оценивания профессиональных компетенций студентов вуза. Предложены новые для педагогики методы оценивания: Ассессмент-центр, профильные бизнес-кейсы, метод 3600.

Анализ зарубежной практики оценивания компетенций показал эффективность применения компетентностно-ориентированных экзаменов и когнитивных лабораторий в Нидерландах и Великобритании.

Отметим, что оценивание компетенций не является простой аддитивной суммой оценивания знаний–умений–навыков. Это понятие несколько иного смыслового ряда, что требует особого подхода к фиксированию результата компетентностно-ориентированного образования.

Во второй главе «Разработка и внедрение научно-методического обеспечения технологии квалиметрического оценивания компетенций студентов вуза» рассматривается внедрение модели квалиметрического оценивании профессиональных компетенций студентов, разрабатывается и апробируется технология квалиметрического оценивания профессиональных компетенций и диагностический инструментарий.

Этап 1. Подготовительный этап (организация разработки технологии оценивания компетенций) предполагает принятие руководством образовательного учреждения (вуза, факультета, кафедры) решения о разработке средств диагностики компетенций с назначением ответственных лиц за их создание и составе рабочей группы; определение рабочей группой: целей диагностики; нормативных документов, определяющих результаты образовательной деятельности; формулировка перечня проблем, возникающих при разработке

13

средств диагностики компетенций в связи с особенностями объекта оценивания; определение состава разработчиков средств диагностики компетенций и репрезентативной выборки экспертов – специалистов; составление, размножение и рассылка рабочей группой анкет для оценки компетентности кандидатов в эксперты; обработка анкет; формирование группы ведущих экспертов.

Этап 2. Отбор и структурирование диагностируемого материала. На данном этапе рабочей группой определяются основные учебные дисциплины, формирующие компетенцию (учет свойства надпредметности и межпредметности), связи между ними; выбирается таксономическая модель обученности с определенным числом уровней с учетом компетентностного подхода; создается классификатор знаний, умений, навыков и способностей,

диагностируемого материала и соотнесение диагностируемого учебного материала с таксономической моделью обучения и классификатором, проводится экспертиза структурированного диагностируемого материала.

Этап 3. Проектирование структуры оценочных средств компетенций.

Производится выбор формы (устная или письменная, групповая или индивидуальная) и вида педагогического контроля (предварительный, текущий, промежуточный, итоговый); обоснование инструментария для измерения уровня сформированности компетенций (экзамен, тестирование, презентация портфолио и др.); определение подхода к интерпретации оценки; формулирование требований к уровню сформированности компетенций студентов для данного курса обучения; формирование структуры оценочных средств, включающей в себя: структурирование содержания; типологию знаний и умений; таксономическую модель компетентностной обученности; количество оценочных заданий; уровни трудности заданий; принцип расположения заданий; форму представления заданий в соответствии с типологией и уровнем сложности; время, отведенное на диагностику.

Этап 4. Конструирование оценочных средств (разработка и подбор заданий в соответствии со структурой компетенций и содержательной областью диагностики компетенций). Разработка и подбор экспертами заданий; формирование банка заданий; конструирование рабочей группой оценочного средства, согласно его структуры с учетом расположения заданий по принципу возрастающей или чередующейся трудности; составление инструкций для студентов и преподавателей по выполнению заданий; создание эталона (образца) выполнения оценочного средства.

Этап 5. Экспертиза оценочных средств с проведением пилотажной диагностики компетенций и корректировкой оценочных средств. Экспертиза и утверждение эталона выполнения; определение содержательной, латентной, критериальной, адаптационной валидности с последующим анализом и корректировкой оценочного средства; проведение пилотажной диагностики компетенции на экспериментальной выборке студентов; обработка результатов диагностики в соответствии с эталоном и накопление статистики; оформление отчета по результатам пилотажной диагностики; корректировка рабочей группой оценочного средства с учетом результатов обработки. Повторная экспертиза.

14

Этап 6. Диагностика компетенций и интерпретация результатов диагностики компетенций. Повторное проведение диагностики компетенций на определенной экспериментальной выборке студентов и обработка результатов диагностики в соответствии с эталоном и с использованием компьютерных программ для накопления статистики; выявление уровня сформированности компетенций у обучающихся; анализ результатов диагностики компетенций с выявлением положительных и отрицательных моментов обучения; распределение обучающихся по уровням сформированности компетенций.

Этап 7. Использование результатов диагностики компетенций в учебном процессе. Корректировка матрицы формирования компетенций по учебным дисциплинам; изменение форм представления учебного материала, форм и средств обучения в соответствии с выявленными недостатками обучения; составление рейтинга студентов и диаграмм сформированности компетенций.

Для экспериментальной проверки технологии квалиметрического оценивания на констатирующем этапе (2006 год) была выбрана проектноконструкторская компетенция, которая является основной для инженерных специальностей. При разработке государственных образовательных стандартов третьего поколения (2009 год) данная компетенция разделилась на составляющие и присутствует во всех стандартах технического и технологического направлений подготовки. Деятельная структура проектно - конструкторской компетенции может быть определена как единство компонентов: аксиологического, праксеологического, когнитивного, деятельностного и рефлексивного (табл. 1).

Таблица 1.

Компоненты проектно-конструкторской компетенции

Становление каждого компонента проектно-конструкторской деятельности связано с формированием его характеристик и свойств как части целостной системы. Для выявления уровня сформированности данной компетенции у студентов были разработаны показатели для предложенных уровней сформированности профессиональных компетенций. Количество уровней сформированности компетенции определялось экспериментальным путем, для чего были разработаны критериальные показатели для трех и четырех уровней сформированности. Эксперимент показал увеличение разброса результатов оценивания с 15 % при трехуровневом оценивании до 40% при четырехуровневом. Таким образом, в технологии квалиметрического оценивания обоснованы три уровня сформированности профессиональной компетенции: профессионально-адаптивный, профессионально-технологический и профессионально-исследовательский.

Для каждого уровня разработаны покомпонентные качественные показатели сформированности проектно-конструкторской компетенции и предложены соответствующие методы и средства оценивания. Так, аксиологический компонент может быть проверен анкетированием, выполнением индивидуальных заданий, работой на деловых играх, участием в выставках творческих работ; когнитивный компонент диагностируется при выполнении проектов, презентаций, решении производственно-ситуационных задач (кейс метод), участием в семинарах и конференциях.

На формирующем этапе эксперимента (200720010 гг.), который проводился на базе ИНЭКА (г.Чистополь) каждый из перечисленных этапов проектирования технологии квалиметрического оценивания профессиональных компетенций студентов технических вузов наполнялся содержанием.

Особый интерес для проверки работоспособности технологии квалиметрического оценивания представляет собой пятый этап разработки технологии: экспертиза оценочных средств с проведением пилотажной диагностики компетенций и корректировка оценочных средств. Была проведена общая стандартизация (унификация инструкций, оценочного материала, процедуры оценивания, условий проведения обследования), стандартизация критериев оценивания результатов диагностики. Проверка надежности проводилась методом расщепления (r=0,87), стабильности – методом «тестретест» (r=0,83). Константность методик оценивания доказана путем корреляции результатов двух опытов, проведенных в относительно одинаковых условиях на одной и той же выборке студентов, но разными преподавателями (r=0,8). Во всех случаях уровень значимости испытаний превысил α = 0,05. Так же проверялась теоретическая и прагматическая валидности, проведена валидизация по содержанию (логическая валидность), подтверждена прогностическая валидность.

где весовые коэффициенты значимости каждой компоненты С1 - С5 определяются экспертным путем отдельно для каждой компетенции; Ккогн, Кдеят, Кпракс, Каксиол, Каксиол - количество набранных баллов по стандартизированным, валидным диагностическим методикам, нормированные к 100 баллам каждая.

16

В нашем случае по результатам обсуждения рабочей группы, экспертов и преподавателей для проектно-конструкторской компетенции были получены следующие весовые коэффициенты:

К проект-констр комп = 0,3*Ккогн + 0,3*Кдеят +0,2*Кпракс + 0,1*Каксиол + 0,1*Крефл

Можно предложить следующую универсальную градацию: К проект-констр комп <50 баллов - профессионально-адаптивный уровень;

50 баллов ≤ К проект-констр комп < 70 – профессионально-технологический уровень; К проект-констр комп ≥ 70 баллов - профессионально-исследовательский уровень.

На заключительном этапе проведено внедрение технологии квалиметрического оценивания профессиональных компетенций студентов на примере проектно-конструкторской компетенции в филиале Камской государственной инженерно-экономической академии в г.Чистополь. В начале 2008-2009 учебного года было проведено оценивание начального уровня сформированности проектно-конструкторской компетенции у студентов 3 курса. К данному моменту студенты изучили дисциплины, которые целенаправленно или косвенно формируют проектно-конструкторскую компетенцию: Математика (1-4 семестры), Начертательная геометрия (1 семестр), Инженерная графика (2 семестр), Теоретическая механика (2 семестр), Основы гидравлики и гидропривода (4 семестр) и т.д. По результатам применения технологии квалиметрического оценивания к проектно-конструкторской компетенции были получены следующие результаты (табл. 2). В эксперименте участвовали 2 группы студентов (56 чел.), которые в дальнейшем станут контрольной и экспериментальной. По уровню успеваемости, возрасту, полученному среднему образованию группы идентичны. Результаты показали классическую картину распределения по уровням студентов. Это косвенный признак адекватного оценивания уровня сформированности компетенции. Статистическая проверка критерием χ 2 показала недостоверность различий в экспериментальной и контрольной группах.

Дальнейшая проверка объективности технологии оценивания проводилась монографическим исследованием: рассматривались учебные достижения каждого студента. Для каждого студента были выписаны (табл. 3) оценки за 3 и 4 семестр по вышеуказанным дисциплинам (графы 2-6), балл, полученный при применении технологии квалиметрического оценивания профессиональных компетенций (графа 7) и экспертная оценка (граф 8). Экспертная оценка получалась по формуле среднего арифметического экспертных оценок 13 преподавателей, которые вели у данных студентов дисциплины, формирующие проектно-конструкторскую компетенцию.

17

Таблица 3 Сравнительный анализ учебных достижений студента, результатов

оценивания по технологии и экспертных оценок

По результатам корреляционного анализа полученных данных можно сделать вывод, что результаты оценивания по технологии не коррелируют (r=0,3) с оценками по выделенным дисциплинам и хорошо коррелируют (r=0,74) с экспертными оценками преподавателей, что дает потерю при традиционном оценивании доли информации, необходимой для преподавателей последующих дисциплин.

В конце каждого учебного года (2008-2009, 2009-2010) проводился итоговый анализ успеваемости студентов контрольной и экспериментальной групп. Была выписана средняя оценка по всем предметам за учебный год, оценки по дисциплинам «Автомобили», «Общая электротехника и электроника» (3 курс), «Основы проектирования и эксплуатации технологического оборудования», «Основы теории надежности и диагностика» (4 курс). В крайней правой графе табл. 4 приведены рассчитанные нами значения критерия χ2, которые показывают, что уровень успеваемости, уровни сформированности проектноконструкторской компетенции у студентов контрольной и экспериментальной групп достоверно различаются. Это стало возможным благодаря внедрению модели и технологии оценивания проектно-конструкторской компетенции.

Результаты сравнительного анализа представлены в табл. 4.

Таблица 4 Результаты сравнительного анализа успеваемости студентов

18

Проверить, насколько адекватны оценки, полученные по технологии квалиметрического оценивания компетенции, можно также, сравнив их с оценками, выставленными студентам на производственной практике и по окончании обучения, после устройства на работу. Только 42% студента контрольной и 46% экспериментальной групп в ходе практики смогли применить проектно-конструкторскую компетенцию. По разработанным нами критериям мастера и наставники оценили проектно-конструкторскую компетенцию студентов и выпускников. Результаты оценивания сравнивались с экспертными оценками, оценками по дисциплинам и результатами, полученными по технологии оценивания. Корреляционный анализ показал наличие тесной связи между оценками экспертов, технологии оценивания и результатами опроса мастеров (r=0,82).

Для анализа сформированности проектно-конструкторской компетенции у отдельных обучающихся (рис.2) были использованы лепестковые диаграммы, наглядно представляющие покомпонентную сформированность компетенции.

Для изучения современного состояния проблемы оценивания компетенций в образовательном процессе проведена диагностика готовности преподавателей 36 чел.) к внедрению компетентностного подхода, которая имеет мотивационный, когнитивный и операционный компоненты, разработаны одноименные критерии, позволившие оценить уровень готовности преподавателей.

Результаты диагностики показали, что преподаватели не владеют в необходимой степени знаниями о компетентностном подходе, сущностных и содержательных характеристиках технологии оценивания компетенций, критериями оценки в системе подготовки студента к будущей профессиональной деятельности и не готовы к широкому внедрению компетентностного подхода. С целью повысить готовность преподавателей был разработан специальный курс «Реализация компетентностного подхода в высшем образовании: формирование и оценивание компетенций», направленный на формирование у преподавателей готовности к внедрению компетентностного подхода, прирост знаний преподавателей вузов о приоритетных направлениях и возможностях использования технологий формирования и оценивания компетенций в высшей школе, а также на повышение профессионального мастерства преподавателей. Курс рассчитан на 72 часов, из которых 46 часа аудиторной работы и 18 часа практической работы.

19

Разработанная программа курса повышения квалификации внедрена на базе филиала Камской государственной инженерно-экономической академии в г.Чистополь. На рис.3 показаны результаты диагностики уровня сформированности готовности преподавателей к внедрению компетентностного подхода до и после прохождения курсов повышения квалификации. Анализ полученных результатов показывает, что сформированность готовности к внедрению компетентностного подхода у слушателей курсов достоверно изменилась (χ2 = 0,81, =0,05). Значит, содержание программы способствовало повышению уровня готовности преподавателей к внедрению компетентностного подхода.

В заключении представлены обобщающие выводы и сформулированы наиболее существенные исследовательские результаты, а также определены актуальные направления дальнейшей разработки данной проблемы.

Выводы по диссертационному исследованию

1.В ходе анализа современных исследований внедрения компетентностного подхода в высшей школе обозначен четвертый этап становления СВЕ-подхода (competence-base-education-СВЕ) в образовании,

характеризующийся разработкой методологических подходов к формированию отдельных компетенций и их оцениванию.

2.Раскрыта сущность квалиметрического оценивания профессиональных компетенций студентов технического вуза, заключающаяся в обеспечении объективного представления результатов образовательного процесса

втерминах компетенций с учетом обоснованной таксономической модели, критериев и показателей интегральной квалиметрической оценки.

3.Установлено, что компетенция имеет инвариантный компонентный состав (праксеологический, когнитивный, деятельностный, аксиологический и рефлексивный компоненты), которые обуславливают совокупность взаимосвязанных качеств личности, необходимых для качественной продуктивной деятельности по отношению к определенному кругу предметов и процессов.

4.На основании проведенного обзора исследований, посвященных проблеме, оценивание определено как системный процесс, направленный на определение степени соответствия достигнутых результатов обучающихся эталонному целевому результату, обладающий свойствами валидности, объективности, доступности и динамичности и предполагающий выделение уровней и определение ценности достигнутого результата.

5.Разработанное в исследовании научно-методическое обеспечение технологии квалиметрического оценивания профессиональных компетенций студентов технического вуза включает в себя на теоретическом уровне – обоснование применения квалиметрического подхода к оцениванию профессиональных компетенций студентов; на организационно-структурном уровне – разработку структурно-функциональной модели; на содержательном уровне – проектирование содержания технологии квалиметрического оценивания профессиональных компетенций студентов; на результативном уровне

20