4.3 Методика расчета значений ключевых компетенций
В соответствии с введенной И.А.Зимней [77] дефиницией ключевых компетенций и содержательными аспектами данного понятия, будем считать, что в состав компетенции входят три основных компонента: качества и свойства личности, совокупность знаний, умений и навыков, приобретенных в течение всей жизни, и опыт их практического применения (см. рис.4.2).
Различные качества и свойства личности, накладываясь на информационную базу человека, образуют разные компетенции. Таким образом, при рассмотрении нескольких компетенций одного человека мы обнаруживаем, что все они опираются на одну и ту же базу (жизненный опыт), которая и составляет инвариантную часть компетенций. В то же время свойства и качества личности для каждой компетенции являются ее вариативной частью.
Рис.4.2. Структурный и содержательный состав компетенции
Следовательно, для того, чтобы оценить степень сформированности различных компетенций человека в данный период времени достаточно определить степень развития соответствующих им свойств и качеств личности. В случае исследования группы людей необходимо учитывать так же и инвариантную часть, так как она индивидуальна для каждого человека.
Сформулированные выше положения легли в основу методики для вычисления ключевых компетенций. Многоуровневая структура ключевых компетенций выпускника (табл.4.2) определила выбор метода их расчета. Вычисление значений ключевых компетенций основано на применении аддитивного метода свертки локальных критериев.
В общем случае аддитивный метод свертки предполагает построение интегрального критерия в виде простой или взвешенной суммы локальных критериев:
m
Rj=∑kixij, (1)
i=1
где ki - весовой коэффициент важности критерия,
xij – значение критерия,
Rj – рейтинговое число (интегральный критерий) j-го уровня.
В нашем случае локальными критериями являются показатели ключевых компетенций. Весовые коэффициенты для каждого уровня свертки на данном этапе расчета были выбраны равнозначными. Выявление различий в весовых коэффициентах ki является оптимизирующим этапом расчета, уточняющим взаимосвязь и взаимозависимость критериальных показателей, а, следовательно, и полученных данных, и может быть выполнено с помощью методов факторного (кластерного) анализа.
Качества и свойства личности являются первым компонентом в структуре ключевой компетенции. Для измерения отдельных качеств и свойств личности в настоящее время разработано множество психологических методик, часть которых была целенаправленно использована на экспериментальном этапе исследования. Для обеспечения степени надежности результатов применялись апробированные тестовые материалы [159, 160, 167, 169, 168], в некоторых случаях были использованы авторские анкеты, средняя погрешность вычислений которых составила 4-9%, рассчитанная валидность - 0,7-0,9.
Диагностика проводилось по измерительным материалам, в качестве которых использовались методики, описание и бланки которых приведены в работах Н.А.Трубицыной. Для удобства дальнейшего использования значений в вычислениях тесты и анкеты были сгруппированы и каждому из них присвоено обозначение, состоящее из буквенной и цифровой части (см. [16]).
Полученные результаты обрабатывались стандартными методами, а затем приводились в универсальную систему сопоставимых расчетных единиц – процентное соотношение от максимально возможного результата, наиболее удобную для следующих этапов расчета.
Приведение результатов диагностики в единую систему единиц проводилось на основе разных принципов с применением соответствующих математических формул.
Выявленные компетенциеобразующие качества и свойства личности, использованные диагностические методики, а также расчетные формулы в соответствии с обозначениями приведены в указанных выше работах Н.А.Трубицыной. Так, выражение вида B3(I6+I15)/2 в таблице следует понимать как сумму 6-го и 15-го значений I части методики В3, рассчитанных в соответствии с приведенной выше формулой.
Для оценки точности используемого метода расчета необходимо определить ошибку вычисления полученных значений компетенциеобразующих качеств и свойств личности. Для этого, мы использовали метод среднего квадратичного отклонения, обеспечивающий высокую надежность и в то же время простоту вычисления. Для всей выборки студентов вычисленная возможная ошибка тестирования составила от 4 до 8%. Подробное описание предлагаемого метода приведено в соответствующей литературе.
Непосредственное вычисление степени сформированности компетенций проводилось на базе компетенциеобразующих качеств и свойств личности с учетом других компонентов компетенции - средних баллов по теоретическим и практическим занятиям для каждого студента исследуемой группы. В основу расчета была положена идея о том, что знания и опыт их применения определяют уровень или степень возможности проявления личностных качеств [19].
Будем считать, что в условиях современного образовательного процесса в вузе объективной оценкой полученных знаний и практического опыта студента выступает средний балл успеваемости. При этом полагаем, что процент усвоенных теоретических знаний и практических умений и навыков определяет процент проявления необходимых личностных свойств и качеств, т.е. степень сформированности компетенций.
Значения среднего балла были приведены к той же системе измерения с помощью следующей формулы:
Ср=100-{(X-3)/2*100+(Y-3)/2*100}/2, (2)
где X – средний балл успеваемости по освоенным дисциплинам теоретического обучения; Y – средний балл успеваемости практического обучения (практики, курсовые работы, выпускная квалификационная работа).
В результате были вычислены в процентном выражении значения ключевых компетенций, значения подклассов и классов компетенций и их отклонений.
Для обозначения весовых коэффициентов в нашем случае использовались более сложные обозначения индексов, зависимых от уровня свертки. Всего было применено четыре уровня аддитивной свертки по количеству значений показателей, подклассов и классов компетенций, а также при вычислении итогового интегрального показателя педагогической компетентности выпускника. Формулы для их расчета приведены в указанных работах.
Для упрощения расчетных формул были опущены некоторые буквенные обозначения, и выражение вида kI11*I.1.1 необходимо понимать как умножение соответствующего весового коэффициента с индексом I11 на значение компетенции под номером I.1.1.
При вычислении общего интегрального показателя (четвертый уровень свертки) использовалась формула kI*I+kII*II+kIII*III, где kI, kII, kIII соответствующие весовые коэффициенты; I, II, III – значения показателей классов ключевых компетенций в соответствии с обозначениями.
На рис.4.3 представлена общая схема расчета значений показателей педагогической компетентности. Поуровневые обозначения показателей полностью соответствуют обозначениям, использованным в таблицах. Расчет погрешности вычислений на каждом уровне свертки проводился аналогичным методом.
В результате проведенных вычислений мы получим значения ключевых компетенций в процентном выражении относительно их идеальных критериев. Но в реальной жизни невозможно достичь стопроцентного развития компетенций, так как одни из них являются антагонистами и препятствуют проявлению других, а другие обладают синергетическими свойствами, и, наоборот, способствуют совместному проявлению.
В связи с этим, для уточнения результатов, полученных с помощью аддитивного метода свертки локальных критериев, был проведен перерасчет значений ключевых компетенций и интегральных показателей с использованием выявленных пороговых значений компетенций. Этот заключительный этап расчета дает нам реальную картину сформированности ключевых компетенций будущих преподавателей и уровня их компетентности. Проведение расчетов по предлагаемой методике довольно трудоемкое, особенно при большом количестве выбранных параметров и исследуемых групп студентов. Существенную помощь в вычислительных процедурах могут оказать персональные компьютеры и специальное программное обеспечение.
Обработка диагностических материалов, последующие расчеты и наглядное их представление проводились средствами электронных таблиц MS EXCEL.
В результате проведенного исследования можно выделить следующие особенности организации и проведения процедуры оценки качества подготовки специалистов:
- для реализации наиболее глобальных целей предлагаемой технологии – оценить влияние образовательной программы на показатели компетентности, а, следовательно, ее эффективности – необходим одновременный анализ степени сформированности ключевых компетенций у двух групп респондентов, обучающихся по разным образовательным программам (в нашем случае: контрольная и экспериментальная группы);
- для достижения высокой степени достоверности полученных данных необходимо проводить диагностику одних и тех же респондентов, не менее 3-х раз за полный период их обучения в вузе (в нашем случае 1,3 и 5 курс), в случае использования предложенной технологии в целях коррекции текущего учебного процесса количество измерений рекомендуется увеличить до 5 раз (одно измерение по итогам 2-х учебных семестров);
- в связи с высоким темпом развития современной педагогической практики и повышения уровня требований к подготовке преподавателей иностранного языка рекомендуется проводить коррекцию критериальной базы каждые 5 лет;
- для обеспечения высокой степени валидности результатов измерений качества подготовки студентов необходимо обеспечение единства использования всех трех способов оценки степени сформированности ключевых компетенций: субъективной оценки преподавателя, самооценки студента и объективной оценки по предложенной технологии ;
- при коррекции учебного процесса в целях обеспечения максимальной конкурентоспособности и обеспечения успешной интеграции будущего педагога в сложную систему современной школы рекомендуется учитывать, развитие каких ключевых компетенций студенты считают приоритетной для себя задачей, в связи, с чем необходим регулярный опрос на предмет их ожиданий;
- при анализе реализуемых образовательных программ для получения достоверных результатов необходимо использовать достаточный объем выборки студентов;
- в связи с тем, что при расчете ключевых компетенций используются показатели средних баллов успеваемости, необходимо проведение тщательного анализа учебного плана, с последующим выявлением всех компонентов теоретического и практического обучения;
- для получения достоверных результатов оценки качества подготовки будущих преподавателей иностранного языка был проведен анализ множества определяющих ее факторов, следовательно, внесение любых изменений в предложенную методику должно многократно апробироваться во избежание получения ошибочных данных.