Качество образования и его оценка в системе высшего образования. Теория и методология. Монография

готовки специалистов? Действительно ли заложенные во ФГОС компетенции позволят с высокой вероятностью прогнозировать будущие профессиональные успехи выпускников вузов, т.е., иными словами, обладают ли эти компетенции высокой прогностической валидностью? Правильно ли были корреспондированы ряд «знать – уметь – владеть» и перечень дисциплин в основной образовательной программе с составом компетенций по различным образовательным уровням при разработке ФГОС по разным направлениям подготовки? Произойдет ли существенная перестройка содержания и методов обучения с ориентацией на компетентностную модель подготовки специалистов? Сумеют ли вузы и структуры, занимающиеся государственной аккредитацией, создать адекватные компетентностному подходу системы контроля и оценки качества подготовки выпускников, обладающие высокой прогностичностью? Ответов на эти и многие другие вопросы пока не существует, их даст только многолетняя практика внедрения компетентностного подхода в отечественное образование.

В целом, можно сказать, что процесс совершенствования перечней компетенций и дисциплин по различным профилям подготовки специалистов должен носить растянутый во времени характер и основываться не только на мнениях экспертов из числа профессорско-преподавательского состава вузов или работодателей, но и на опыте преподавания, анализе тенденций изменения качества образования.

Однако уже сейчас понятно, что введение компетентностного подхода серьезно затрагивает все компоненты процесса обучения и требует существенного пересмотра содержания образования, методов обучения и традиционных вузовских контрольно-оценочных систем. Согласно существующему законодательству, оценка качества подготовки выпускников происходит в процессе аттестации, требующей репрезентативного отображения требований ФГОС в содержании аттестационных оценочных средств. Но теперь в ходе аттестации придется оценивать не привычные знания, умения и навыки, а уровень освоения достаточно большого набора общекультурных и профессиональных компетенций.

21

В этих условиях вузы и структуры, занимающиеся комплексной проверкой деятельности учебных заведений, не смогут ограничиться существующими и ставшими уже привычными заданиями по отдельным предметам с выбором ответов, поскольку компетенции не являются некоторым набором предметных знаний, умений и навыков. Необходимы будут новые оценочные средства, построенные на основе современных достижений теории педагогических измерений и позволяющие измерять уровень сформированности многоплановых

имногоструктурных характеристик качества подготовки выпускников вузов, которые не должны сводиться к простой сумме предметных знаний и умений [25].

Так как в рамках компетентностного подхода результаты образования признаются значимыми после окончания обучения, необходимы будут аттестационные тесты с высокой валидностью, указывающей меру вероятности прогноза успешности дальнейшей профессиональной деятельности выпускников вузов, оцениваемой путем корреляции результатов по тестам с оценками качества профессиональной деятельности выпускников, собранными на пpoтяжении первых 2–3 лет работы. Не стоит полагать, что разработка таких измерителей – забота профессионалов. Для реализации компетентностного подхода каждому вузу придется перестраивать свою систему контроля на основе введения компетентностно ориентированных заданий в учебный процесс.

Проблема структурирования компетенций и создания измерителей для аттестации усугубляется теми дополнительными трудностями, которые возникают при попытках оценивания компетенций [43].

Во-первых, компетенции – многофункциональны и метапредметны, поэтому при аттестации понадобятся комплексные измерители, требующие включения различных оценочных средств, использования методов многомерного шкалирования

испециальных методов интеграции аттестационных баллов по различным количественным и качественным шкалам.

Во-вторых, уровень освоения компетенций во многом предопределен доминантой способностей обучаемых, что при-

22

водит к необходимости использования отдельных психодиагностических методик в процессе аттестации, не предусмотренных в нашей стране нормативными документами. О такой необходимости говорит опыт многих зарубежных стран, где психологи участвуют в оценивании компетенций в образовании.

В-третьих, при интерпретации оценок уровня освоения компетенций придется принимать во внимание, что формирование компетенций является производной многих факторов: содержания образования, организационно-технологических педагогических решений, методов обучения, стиля взаимодействия со студентами, качества системы контроля в вузе, вовлеченности студентов в образовательный процесс, характера производственных практик и стажировок и т.п.

Интересно проанализировать опыт стран, отказавшихся от традиционной информационно-знаниевой модели подготовки выпускников и идущих по пути внедрения компетентностного подхода в образование уже на протяжении 8–10 лет. В частности, можно рассмотреть схему разработки компетентностно ориентированных экзаменов в Нидерландах. В число участников работ по созданию такого экзамена входят конструкторы теста, группа разработчиков заданий, когнитивная лаборатория, которая специально создается для реализации компетентностно ориентированных экзаменов, экспертная группа из числа преподавателей, не участвовавших в разработке экзамена, и внешняя контролирующая группа из числа работодателей и представителей академического сообщества.

Программа экзамена включает описание группы экзаменуемых, название дисциплины и уровень контроля, перечень проверяемых компетенций, каждая из которых развернута в совокупности операционализированных, т.е. конкретизированных для измерения признаков, совокупности проверяемых знаний, умений и навыков. Оцениваемые результаты обучения, планируемые в модели экзамена, ориентированы на компетенции, относящиеся к образовательной области, личностной, трудовой и научной сферам с обязательными ограничениями по процентному представлению каждой из этих сфер в

23

итоговом тесте и по минимальному/максимальному числу заданий для каждой компетенции. Каждая из сфер обычно разворачивается в наборе, содержащем несколько (2–3, но не более 4) компетенций. И даже такие ограничения приводят к довольно длинным (до 80–100 заданий) тестам, для которых строится несколько шкал в каждой из перечисленных сфер (есть специальный термин «длина теста») [33].

Полезно обратиться к опыту создания когнитивных лабораторий, отсутствующих в наших вузах, но которые в Нидерландах считаются необходимыми в учебных заведениях при переходе на компетентностную модель в образовании. В их состав рекомендуется включать педагогов, психологов и методистов, которые проводят аудиозапись и анализ реального хода выполнения студентами компетентностных заданий, разрабатывают оптимальные оценочные шкалы по отдельным заданиям, интерпретируют результаты текущего тестирования, а главное – проводят мониторинг прироста индивидуальных достижений по отдельным компетенциям на протяжении всего периода обучения каждого студента [19].

Итогом ежегодной деятельности такой лаборатории также является уточнение состава измерителей для каждой компетенции и наполнение банка компетентностных заданий вуза. Зарубежный опыт свидетельствует о том, что работа такой лаборатории в условиях систематически функционирующей системы контроля, ориентированной на компетентностную модель подготовки специалистов, приводит к позитивным тенденциям в динамике изменения качества образования.

В целом анализ зарубежного опыта ряда стран (США, Великобритании, Нидерландов, Франции, Германии и др.) по внедрению компетентностного подхода в группе с высокоразвитыми системами образования позволил выявить несколько типичных тенденций:

–преимущественная опора на динамическую трактовку качества результатов образования;

–стремление к максимально возможной операционализации и конкретизации компетенций;

–минимизация перечня компетенций;

24

–создание специальных структур и систем мониторинга для реализации компетентностного подхода;

–широкое использование многомерных педагогических измерений в условиях сочетания оценок, полученных на количественном и качественном уровнях измерения [19].

Не отказываясь от целевой парадигмы введения ФГОС в соответствии с нормативной документацией по аттестации, можно выделить ряд основных обобщенных направлений анализа качества процесса и результатов образования, предполагающих оценивание:

–уровня инновационного процесса образования и его связи с наукой;

–степени соответствия содержания образования требованиям профессионального сообщества и интересам личности обучающегося;

–уровня реализации вузом задач высшего образования;

–уровня учебных достижений в терминах компетентностного подхода и корреспондирующей с ним совокупностью знаний, умений, навыков.

Если сосредоточиться на процессе обучения, то проанализировать качество можно на различных уровнях.

Первый уровень – планирование обучения, когда определенные представления о планируемом качестве подготовки закладываются в образовательные программы по каждой дисциплине. Второй уровень – этап реализации образовательных программ в учебном процессе, на котором качество подготовки обучаемого приходится рассматривать в сочетании с целым спектром факторов, определяемых личностными особенностями усвоения, качеством преподавания и организации учебного процесса. Третий уровень анализа качества подготовки обычно проводится с позиций оценки результатов осуществленного учебного процесса [29].

В целом, можно сделать вывод о том, что эффективность работы по анализу динамики изменения качества образования во многом зависит от того, насколько правильно структурирована совокупность компетенций, насколько она поддается операционализации, представляется в виде некоторой системы показателей, поддающихся измерению либо экспертному оце-

25

ниванию. Уже сейчас на этапе перехода к новым стандартам следует отказаться от прежнего эклектического подхода к оцениванию качества результатов обучения в аттестации и разработать системный подход к формированию содержания измерителей, выбору их видов и форм заданий, построению стандартизованных шкал и интерпретации результатов аттестации в условиях их высокой надежности, валидности и сопоставимости.

Ядро такого системного подхода должна составлять методология педагогических измерений, к ведущим принципам которой следует отнести:

–сочетание количественных и качественных уровней измерения, характерное для бипарадигмальной методологии;

–привлечение психодиагностических методик и специальной теории для измерения изменений качества результатов образования;

–учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;

–обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние);

–обеспечение высокой конструктивной, содержательной

ипрогностической валидности (обоснованности) результатов измерений;

–применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;

–применение лонгитюдных (проводимых с учетом фактора времени) измерений в аттестационных процессах, переход к режиму мониторинга качества результатов образования;

–применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);

26

–использование факторного, дисперсионного и метаанализа для изучения данных о качестве подготовки студентов;

–сочетание внешних и внутренних экспертиз при аттестации [1].

Для реализации этих принципов в аттестации необходим ряд подготовительных работ, в число которых входят:

–создание общей концептуальной базы аттестации;

–разработка профессиограмм для различных направлений подготовки;

–структурирование и операционализация компетенций (перевод в плоскость измерений);

–концептуальный выбор размерности измерений;

–определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);

–формирование репрезентативных выборок студентов или выпускников для апробации измерителей;

–разработка первой версии инструментария (предметно ориентированных тестов, компетентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);

–апробация, оценивание размерности пространства измерений и определение числа шкал;

–получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;

–анкетирование работодателей;

–коррекция инструментария;

–проведение измерений;

–сбор и обработка данных;

–шкалирование;

–интеграция данных по различным шкалам;

–интерпретация результатов оценочного процесса [1]. Только выполнение всех этих этапов позволит в полной

мере реализовать компетентностный подход в профессиональном образовании, даст возможность значительно повысить качество профессионального образования и оценку его результатов.

27

ГЛАВА 2. МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ КАЧЕСТВА ОБРАЗОВАНИЯ И ЕГО ОЦЕНКА

2.1. Качество образования как объект управления

Большой вклад в разработку теории управления качеством внесли зарубежные и отечественные ученые. Работы российских ученых А.А. Аветисова [1], В.Н. Байденко [5], Д.М. Гвишиани [15], В.А. Качалова [23], Шишова А.А. [45], Н.А. Селезневой [37], А.И. Субетто [39], М.М. Поташника [41], Т.И. Шамовой [43] и др. послужили теоретической основой системного анализа и управления качеством. В широко применяемых в настоящее время системах управления качеством есть вклад известного американского экономиста У.Э. Деминга [48, 50]. Современная теория управления качеством исходит из положения, что деятельность по управлению качеством не может быть эффективной после того, как продукция произведена; эта деятельность должна осуществляться в ходе производства продукции. Важна также деятельность по обеспечению качества, которая предшествует процессу производства.

Качество определяется действием многих случайных, местных и субъективных факторов. Для предупреждения влияния этих факторов на уровень качества необходима система управления качеством. При этом нужны не отдельные разрозненные и эпизодические усилия, а совокупность мер постоянного воздействия на процесс создания продукта с целью поддержания соответствующего уровня качества.

Управление качеством неизбежно оперирует понятиями: система, система менеджмента, система менеджмента качества, цели в области качества, планирование качества, обеспечение качества, улучшение качества, результативность, эффектив-

ность и др. [50, с. 24].

Различают управляющую и управляемую системы. Управляемая система представлена различными уровнями управления организацией, учреждением и другими структурами. Управляющая система создает и обеспечивает менеджмент

28

качества. В современной литературе [1], [9], [23], [26], [41], [42], [43], [47], [50], отражающей отечественный и зарубежный опыт в этой области, включая Россию, страны Европы, США и Австралию, используются следующие концепции менеджмента качества:

–система качества (Quality System);

–система менеджмента, основанная на управлении каче-

ством (Quality Driven Management System);

–всеобщее управление качеством (Total Quality Manage-

ment);

–обеспечение качества (Quality Assurance);

–управление качеством (Quality Control);

–статистический контроль качества (Statistical Quality Control);

–система обеспечения качества (Quality Assurance System);

–всеобщий производственный менеджмент (Total Manufacturing Management);

–передовой производственный опыт (Good Manufacturing Practices);

–система управления производственными ресурсами

(Environmental Management System);

–всеобщее обеспечение производства (Total Manufacturing Assurance);

–интегрированный менеджмент процессов (Integrated Process Management);

–менеджмент в целях улучшения качества (Management for Quality Improvement);

–полное (всеобщее, тотальное) управление качеством и производительностью (Total Quality and Productivity Management);

–интегрированный менеджмент качества (Integrated Management);

–система внедрения непрерывных улучшений (Continuos Improvement Implementation System);

–полное преобразование качества (Total Quality Transformation);

29

–система менеджмента качества (Quality System Management); ИСО 9000:2001.

–модель Европейского фонда по менеджменту качества

(EFQM);

–модель премии Правительства РФ в области качества;

–модель премии конкурса Министерства образования РФ «Внутривузовские системы обеспечения качества подготовки специалистов»;

–бельгийско-нидерландская модель (HBO Expert Group);

–модель Центра исследований политики в области высшего образования (CHEPS) Университета Твенте (Нидерланды);

–модель Ассоциации университетов Нидерландов (VSNU);

–модель национальной американской премии по качеству

“Baldrige National Quality Award” в области образования;

–модель эталонного тестирования для австралийских университетов.

Есть и другие концепции менеджмента качества. Перечисленные концепции отражают сущность разных методов, используемых в методологии TQM для решения различных проблем качества и важны для понимания качества как объекта управления.

В основе всех этих моделей лежит процессно-системный подход. Все они имеют большую степень совпадения, взаимно дополняют друг друга и отличаются только полнотой и глубиной охвата всех рабочих процессов организации и степенью пересечения системы менеджмента качества с общей системой менеджмента организации, учреждения или вуза.

Управление – достаточно распространенный в последнее

время, но не стандартизированный в общем смысле термин. В различных литературных источниках содержатся его различные определения. По мнению Д.М. Гвишиани [15, с. 127], существует более 80 различных определений понятия «управления». Под управлением в широком смысле понимается общая функция организационных систем (биологических, технических, социальных, педагогических и др.), обеспечивающая сохранение их структуры, поддержание режима функционирования, реализацию целей развития системы. Управлением в

30