Бахмутский / УММ Бахмутского / материалы / пособия / мониторинг и статистика в образовании

Приложение 3 Оценка качества высшего образования:

Европа и США

Сегодня одной из наиболее актуальных тем в рамках высшего образования является вступление России в Болонский процесс. В связи с этим невозможно не акцентировать внимание на эффективности высшего образования, неотъемлемым элементом которого является постоянное проведение оценки его качества. Данная тема становится все более популярной, поэтому представляется целесообразным провести некоторый анализ методов оценки, применяющихся на Западе – в Европе и США. Рассмотрение зарубежного опыта позволит нам понять, насколько данные методики оптимальны для России, и какие шаги нам необходимо сделать на пути к качественному высшему образованию.

В первой части работы рассматриваются наиболее распространенные методики оценивания, принятые на Западе. Во второй - проводится сравнительный анализ систем оценивания, характерных для Европы и Америки.

Итак, говоря о методиках оценивания высшего образования, следует отметить, что основными акторами в данном процессе с европейской стороны

являются Европейская Ассоциация Университетов, Европейская Сеть по Обеспечению Качества Высшего Образования, Европейская Комиссия, Национальный Союз Студентов Европы, а также национальные агентства и ассоциации, университеты и министерства. В Америке основная роль отводится самим университетам, причем во многих есть собственные оценочные центры, и независимым оценочным организациям. В Америке данный вид оценивания развит очень сильно, существует даже целая серия журналов, посвященная только оцениванию высшего образования.

Главными целями структур, проводящих оценку качества высшего образования, являются следующие [1]. Во-первых, обеспечение качества высшего образования в различных контекстах: экономическом, социальном и культурном. Во-вторых, поддержание и оказание поддержки высшим учебным заведениям в применении мер по улучшению качества преподавания и обучения. В-третьих, стимулирование взаимного обмена информацией по вопросам обеспечения качества образования.

Основными методами оценивания являются оценка, аккредитация, аудит и ранжирование [2]. Далее каждый из методов будет рассмотрен более

детально. «Оценка» - в глобальном смысле термин обеспечения качества, однако, довольно часто она рассматривается параллельно другим методам, таким как, например, аудит. Рассмотрим несколько видов оценки, наиболее распространенных на Западе. Первой можно выделить «оценку предмета» - она акцентируется на качестве определенного предмета, как правило, по всем программам, где этот предмет преподается. Второй тип оценки – «оценка программы» - она фокусируется на деятельности в рамках учебной программы. Третий – «оценка учебного заведения» - здесь изучается качество работы ВУЗа, его организация, финансовые вопросы, управление, материально-техническая база, а также преподавательская и исследовательская работа. Последний вид – «оценка темы» - изучает качество или практику конкретной образовательной темы, например, консультации студентов [3]. Наиболее распространенными оценками, используемыми и в Европе, и в США, являются оценка программ и учебного заведения. Связано это с тем, что два других типа более частные и требуют больше усилий для оценивания, тогда более востребованные виды оценок позволяют довольно быстро дать представление о состоянии университета.

Далее рассмотрим «аккредитацию», этот метод в последнее время особенно активно применяется в Европейской системе обеспечения качества образования, в частности в Германии, Норвегии и Нидерландах, где этот метод является основным. Во-первых, необходимо отметить, что оценка и аккредитация – это разные вещи [4]. В отчете Европейской Сети по Обеспечению Качества Высшего Образования за 2001 год, аккредитация была охарактеризована по следующим признакам: аккредитация должна признавать или не признавать, что тоже возможно, что программа университета или он сам отвечают необходимым стандартам. Помимо этого аккредитация включает в себя оценку на основе ранжирования, данные основываются на критериях качества (о них будет сказано позже) и всегда «двоичны» - это всегда либо «да», либо «нет». Последнее время аккредитация получила особое распространение: в Германии аккредитуются все новые учебные программы, это позволяет, по мнению ЕСОК, сделать институты более гибкими в создании новых программ; в Нидерландах недавно появилась Национальная Организация по Аккредитации, которая занимается внешней оценкой университетов.

«Аудит» – это метод, в рамках которого должны быть оценены сильные и слабые стороны механизмов, обеспечивающих качество образования, которые распространены в оцениваемом учебном заведении [5]. Делается это, в основном, для того, чтобы обеспечить мониторинг и улучшить деятельность ВУЗа, преподавание и организацию. Традиционно аудит наиболее распространен в Великобритании и Ирландии.

«Ранжирование» является элементом оценки, в ходе которого сравниваются результаты по предметам, программам, учебным заведениям или темам. Это, по мнению Европейской Ассоциации Университетов, ведет к постоянному обмену положительным опытом [6]. Это наиболее молодой и неизученный метод в рамках оценивания.

Основными принципами, на которых строится оценка, являются самостоятельность и независимость от государства и других ВУЗов в выборе процедур оценки, применение самооценки, внешняя оценкаэкспертамииопубликованиеотчета.Врамках Европейской системы оценки качества эта модель получила название «четырехступенчатой» [7]. Здесь хотелось бы акцентировать внимание на двух аспектах. Во-первых, экспертная группа: она чаще всего состоит из представителей университетов, а также представителей предметной области, международных экспертов, в некоторых случаях выпускников и студентов, плюс профессиональных организаций. Возникает целесообразный вопрос, чем же занимаются эксперты, проводя свои оценки? Обобщая европейские и американские данные, можно сделать вывод, что в задачу внешних оценщиков входит проведение опросов, осмотр учебных классов и материальной базы, встреча с руководством и изучение документации. Второй момент касается самооценки. Почти все университеты считают, что повышение качества образования является их основной целью, вследствие этого логично то, что большинство активно применяют самооценку. Она имеет несколько целей, среди которых составление документации, положительно влияющая на дальнейшее развитие ВУЗа, а также создание основы для дальнейшего совершенствования. Чаще всего в процесс самооценки включены руководители и преподаватели учебных заведений [8].

Остается рассмотреть один из наиболее сложных вопросов в ходе проведения оценки – это проблема выбора образовательных индикаторов и систем показателей. Система разработки показателей такая же, как при разработке показателей в экономической или социальной сферах. Проблема образовательных индикаторов заключается в сложности определения критериев качественного образования, так как не существует прямых показателей, указывающих на эффективность или неэффективность этого процесса. Здесь необходимо учитывать данные и относительно студентов, и относительно преподавательского состава. Индикаторы обычно группируются по показателям условий осуществления образовательной деятельности (концепция учебного заведения, кадры, образовательные ресурсы), показателям процесса (управление ВУЗом, содержание образовательных программ, социальная инфраструктура), показателям результата (качество подготовки бакалавров, магистров, уровень трудоустройства, эффективность исследовательской деятельности) [9].

Рассмотрев основные методики проведения оценки, необходимо провести небольшой сравнительный анализ европейской и американской систем оценки качества высшего образования. Для начала следует отметить, что в западных странах, существует также деление по признаку наличия или отсутствия в государстве органов государственного управления образовательным процессом. В странах, где присутствуют органы государственного управления и регулирования высшего образования, такие как, Министерство образования, Министерство просвещения, основной акцент в оценивании делается как раз на этих структурах,

которые являются системами внешне оценки образовательного процесса. Внутренней оценке, а также самооценке уделяется гораздо меньше внимания. В то же время, страны, где системы государственного управления высшим образованием играют гораздо меньшую роль, на первый план выходит как раз самооценка [10]. Помимо этого присутствует оценка образования профессиональными экспертами, или же общественными представителями.

Основное отличие европейских систем оценки высшего образования от американской основывается на полномочиях правительства в формулировке конечных целей оценивания, определении ключевых ступеней [11], а также в организации образовательного процесса после применения результатов оценки. Это кажется логичным, так как различия в оценивании часто основываются на начальных условиях государств, институциональных и культурных традициях, а также национальными дискурсами в рамках проводимы политик. Образовательная политика не является исключением. Так, в странах, где система образования достаточно централизована, оценка проводится с подачи государственных ведомств, при отсутствии такой системы задача возлагается либо на сами университеты, либо на внешних экспертов.

Особенностью американской системы оценки является развитие системы самооценки [12]. Этот факт связан с тем, что до недавнего времени контроль над университетами со стороны администрации штатов и государственных органов в целом был достаточно слабым. Несмотря на это, американские ВУЗы всегда стремились улучшить систему образования, акцент в данном стремлении делался именно на систему самооценки, проводимой на уровне учебного заведения. Тем не менее, последнее время наблюдаются тенденции к тому, что во многих скандинавских странах развивается самооценка. Одним из наиболее ярких примеров является Норвегия, где, по данным Сетевого Совета Норвегии (Network Norway Council), за последнее десятилетие количество университетов, проводящих оценку собственных программ, значительно возросло.

Говоря об экспертных оценках, важно отметить, что в США профессиональные общественные организации, такие, как ассоциации медиков или юристов, играют важную роль, они строго оценивают программы университетов, так как заинтересованы в поднятии престижа своих профессий и получении специалистов, уверенно ориентирующихся в их поле. В Европе такие ассоциации появились позже, но сейчас их количество увеличивается.

Подводяитоги,хотелосьбыакцентироватьвнимание на том, что основными способами оценки в рамках американской системы являются оценка ВУЗов профессиональными экспертами, оценка через специализированную аккредитацию и самооценка, а в рамках Европы – это оценивание и аккредитация, часто со стороны государственных агентств, таких как Финский Совет по Оценке Высшего Образования

(Finnish Higher Education Evaluation Council),

Национальный Комитет по Оценке Франции (Comite Nationale d’Evaluation), Национальное Агентство Высшего Образования Швеции (National Agency for Higher Education (Hogskoleverket), Научный Совет

Германии (Wissenschaftsrat). Вышестоящими структурами часто являются государственные структуры: Министерство Народного Образования, Научных ИсследованийиТехнологийФранции,Министерство Образования и Науки Латвии и т.п.

Примечания:

[1]– Quality Procedures in European Higher Education. European Network for Quality Assurance. http://www.enqa.net/texts/procedures.pdf

[2]– Процедуры оценки качества в Европейском высшем образовании. Исследование ЕСОК. Международная Статегическая Группа Экспертов. www.iseg.ru/sessions/s6/dieced.doc

[4]– Quality Assurance Implications of New Forms of Higher Education. European Network for Quality Assurance. http://www.enqa.net/texts/newforms.pdf

[5]– Quality Assurance: A Reference System for Indicators and Evaluation Procedures. European Association of Universities. http://www.eua.be/eua/jsp/ en/upload/ELU_EN.1082042243703.pdf

[6]– Процедуры оценки качества в Европейском высшем образовании. Исследование ЕСОК. Международная Стратегическая Группа Экспертов. www.iseg.ru/sessions/s6/dieced.doc

Приложение 4

Инструментальная папка мониторинга качества образования

В2002 году Министерством образования Российской Федерации было принято решение о проведение широкомасштабного эксперимента по совершенствованию структуры и содержания общего образования. В эксперимент были включены 76 субъектов Российской Федерации. Очевидно, что для отслеживания и корректировки столь масштабного эксперимента необходимо располагать полной и объективной информацией. Источником такой информации стал мониторинг. Авторы пособия знакомят вас с одним из направлений мониторинга

–мониторингом образовательных достижений учащихся.

Мониторинг образовательных достижений проводился на основе единых методик и инструментария, разработанных по заданию Министерства образования РФ для всех участников эксперимента.

Для проведения мониторинга качества подготовки учащихся был разработан инструментарий, включающий проверочные работы с комплектом соответствующих рекомендаций и инструкций. Социально-педагогический контекст проводимого эксперимента отслеживался с помощью специально разработанных анкет .

Проведениемониторингаврегионахосуществлялось органами управления образованием субъектов Российской Федерации при участии институтов повышения квалификации педагогических работников, мониторинговых и диагностических служб.

Вшколах эксперимент и мониторинг его результатов по всем направлениям экспериментальной

Материалы для организации и проведения мониторинга эксперимента / Сост. Г.С. Ковалева, С.И. Ива-

нова. –М.: Дрофа, 2001. – 224с.

деятельности проводился в рамках выбранного варианта учебного плана с использованием рекомендаций и методик, полученных от региональных координаторов и разработанных в школе. График проведения определялся рекомендациями, данными в каждой из используемых методик.

Общие подходы к проведению мониторинга образовательных достижений учащихся начальной и старшей школы по предметам федерального цикла (в рамках эксперимента по модернизации структуры и содержания общего образования)

Введение.

Задача мониторинга широкомасштабного эксперимента – выявление педагогической эффективности и социальных последствий эксперимента. Под педагогической эффективностью эксперимента понимается получение планируемых в эксперименте результатов при минимуме негативных последствий или издержек. Для оценки эффективности необходимо соотнести реально достигнутые результаты эксперимента с планируемыми результатами и приложенными усилиями, определяемыми через затратные показатели (временные, трудовые, материальные, финансовые).

Мониторинг образовательных достижений является важной составляющей частью мониторинга широкомасштабного эксперимента Информация о состоянии подготовки учащихся по учебным предметам является одним из показателей, характеризующих эффективность проводимого эксперимента, и тем самым необходима школам для своевременной корректировки хода эксперимента, а также органам народного образования для принятия обоснованных управленческих решений на различных уровнях. Опыт получения подобной информации свидетельствует о том, что разовые, случайные проверки подготовки учащихся приводят нередко к недостоверным выводам, не позволяют выявить объективные тенденции в изменении ее состояния. Отметим, что получить объективную и сравнимую информацию о подготовке учащихся экспериментальных школ невозможно ни в рамках внутришкольного контроля, который учитывает, прежде всего, особенности содержания образования в конкретной школе или классе, ни в рамках системы государственных экзаменов, которые не только призваны решать другие задачи, но и не обязательны по большинству учебных предметов. Очевидно, что в условиях широкомасштабного эксперимента для получения такой информации необходимо систематическое слежение - мониторинг образовательных достижений учащихся по основным учебным предметам в школах, участвующих в эксперименте.

Осуществление мониторинга образовательных достижений должно опираться на следующие положения:

•Открытость и доступность информации о состоянии качества образования

•Использование стандартизированного инструментарияобеспечивающегополучениедостоверных данных (т.е. апробированного и имеющего устойчивые статистические характеристики)

•Централизованная разработка инструментария мониторинга

•Полученные результаты должны служить основой для принятия обоснованных решений на разных уровнях управления системой образования

•Используемые нормы и показатели качества образования должны быть социально и личностно значимыми. Поэтому, например, одним из показателей является достижение базового уровня усвоения учебного материала

•Слежение за достижением учащимися уровня обязательной подготовки, отвечающей требованиям стандарта по предметам федерального цикла; выявление тенденций, характеризующих состояние этой подготовки

•Выявление факторов, оказывающих влияние на достижение обязательных требований, представленных в государственных нормативных документах

•Оценка образовательных достижений осуществляется на разных уровнях: индивидуальном, школьном, региональном, федеральном

•Оценка образовательных достижений осуществляется на различных этапах обучения: входном, промежуточном, итоговом

•Осуществление мониторинга в зависимости от этапов его проведения либо структурами независимыми от органов управления образованием, либо этими структурами совместно с органами управления образования, но в любом случае при их активной поддержке.

Мониторинг образовательных достижений учащихся на разных этапах обучения

Оценка образовательных достижений должна проводиться на разных этапах процесса обучения

– итоговых или промежуточных.

При проведении мониторинга на итоговых этапах обучения (например, конец 11 класса) подготовка учащихся должна соответствовать государственному стандарту вне зависимости от особенностей образовательного учреждения. Поэтому результаты мониторинга можно использовать для оценки достижения учащимися стандарта, для сравнения образовательных достижений учащихся разных образовательных учреждений, а в дальнейшем при систематическом мониторинге определить динамику изменений образовательных достижений и наличие определенных тенденций.

Результаты мониторинга можно использовать также для выявления факторов, связанных с особенностями процесса обучения или социальным окружением, оказывающих влияние на образовательные достижения учащихся. Например, выделить оптимальные учебные планы, учебники, методики обучения и др.

На промежуточных этапах обучения образовательные достижения учащихся имеют существенные различия в разных учебных учреждениях из-за разнообразия используемых учебных планов, учебников и методик обучения. В этих условиях сравнение итогов обучения в различных образовательных учреждениях может привести к необоснованным выводам.

Очевидно, мониторинг на промежуточных этапах должен и может решать другие задачи. Прежде всего, в рамках такого мониторинга может успешно осуществляться методическая поддержка учителей, использующих в эксперименте различные учебные планы, учебники и методики. Так, проверочные работы должны ориентировать учителя на достижение учащимися наряду с требованиями стандарта, целей, поставленных образовательным учреждением в ходе эксперимента.

Общиеподходыкорганизациимониторинга

Необходимость получения систематической информации о ходе эксперимента определяет ряд требований к проведению мониторинга образовательных достижений учащихся. К ним относятся:

•мониторинг осуществляется по всем основным предметам начальной школы и по всем предметам федерального цикла старшей школы;

•проверка образовательных достижений должна быть ежегодной; во всех параллелях классов, участвующих в эксперименте, сроки проверки определяются особенностями процесса обучения;

•разработка инструментария, сбор и обобщение информации об образовательных достижениях учащихся осуществляются на разных уровнях, а именно на уровне школы, региона или страны.

На итоговых этапах обучения – начало и конец обучения в начальной школе и начало и конец обучения

встаршей школе, разработка инструментария для проверки образовательных достижений проводится Федеральным Центром мониторинга (Центр мониторинга) и результаты анализируются и обобщаются по стране (по всей выборке учащихся).

На промежуточных этапах обучения разработка инструментария, сбор и обобщение информации об образовательных достижениях может проводиться на уровне школы или на уровне региона. В этих условиях может быть использован тематический контроль, контроль с учетом особенностей разных учебников, контроль по классам с разными профилями.

При проверке образовательных достижений на уровне региона соответствующий региональный центр получает информацию от школ, анализирует ее, обобщает и направляет краткий отчет в Центр. При этом краткий отчет региона строится по определенной схеме с использованием выбранных заранее показателей. Для написания такого отчета регион обеспечивается соответствующими рекомендациями, специально разработанными в Центре мониторинга. Регион может получить от школ информацию большего объема, чем необходимо для краткого отчета, которую он использует для решения своих исследовательских задач.

При проверке образовательных достижений на уровне школы школа сама анализирует полученные результаты. При этом регион может получать от школы интересующую его информацию.

Разрабатывая схему проведения мониторинга необходимо учитывать, что к эксперименту по модернизации структуры и содержания общего образования с каждым учебным годом подключаются разные параллели классов начальной и старшей школы. Из таблицы 1 видно, какие классы участвуют и будут участвовать в эксперименте в последующие учебные годы.

Таблица 1

Схема проведения мониторинга образовательных достижений на разных уровнях централизации в разных классах в разные учебные годы приведена в таблице 2.

Таблица 2

школы не могут вносить изменения и дополнения в разработанный инструментарий. Итоговыми этапами можно считать начало и окончание обучения в начальной (сентябрь -1 класс, апрель – 4 класс) и старшей школе (сентябрь - 10 класс, апрель –11 класс).

Инструментарий мониторинга на промежуточных этапах обучения должен максимально учитывать особенности учебного плана, учебников и методик, используемых в образовательном учреждении.

Мониторинг в 1, 2, 3 и 10 классах в конце учебного года (в апреле) проводится с использованием инструментария, ядро которого определяется Центром, что позволит регионам сделать краткий отчет (рекомендации по составлению отчета и соответствующие показатели определяются Центром). Регионы и школы могут дополнять полученный из Центра инструментарий с учетом специфики школ, особенностей учебников и целей, определяемых регионами.

Мониторинг в 2, 3, 4 и 11 классах в начале учебного года (в сентябре) проводится с использованием инструментария, разрабатываемого самой школой или предлагаемого школе регионом. Материалы проверки Центром не собираются.

Очевидно, что Центр мониторинга не может оперативно переработать огромный объем информации о результатах мониторинга по всем учебным предметам на всех выделенных этапах проверки.

Ниже (в таблице 3) предлагается один из возможных вариантов схемы проведения мониторинга в 20032005 уч.г., следование которой позволяет получать ежегодно информацию о состоянии подготовки учащихся по основным учебным предметам (в 10, 11 классах – русский язык, математика, в начальной школе – русский язык, математика, чтение), а также периодическую информацию о состоянии подготовки учащихся по всем остальным учебным предметам федерального цикла.

По указанным в ней предметам информация об образовательных достижениях на итоговых этапах обучения и на выделенных промежуточных этапах мониторинга направляется в Центр.

Содержание проверочных работ на итоговых этапах обучения в 4-ом и 11-ом классах определяется требованиями стандарта. В 11 классе, кроме того, в содержании работы должен учитываться профиль обучения (курс А или курс В).

Содержание работ на промежуточных этапах обучения для 1-3 классов определяется стандартами и особенностями используемого учебника. Содержание работы для 10 класса определяется стандартом, особенностями используемого учебника, а также профилем класса. В этих условиях на промежуточных этапах обучения возможно составление различных проверочных работ, соответствующих разным профилям.

Таблица 3