Качество образования и его оценка в системе высшего образования. Теория и методология. Монография

Итак, важной частью подготовительной работы по созданию целостной СМК вуза является обучение уполномоченных по качеству (менеджеров по качеству) и профессорско-препо- давательский состав (ППС) вуза специальной дисциплине, которая обычно называется «Системы менеджмента качества в вузах. Разработка и совершенствование». В рабочую программу такой дисциплины необходимо включить общие представления о СМК образования и процессах, протекающих в деятельности вуза. Она также должна содержать методики документирования процессов, измерения их результативности и эффективности. Необходимы сведения по системе мониторинга качества образования, подходах к оцениванию удовлетворенности качеством результатов образования потребителей образовательных услуг и работодателей. В тематику обучения следует включить вопросы разработки инструментария для оценивания качества результатов образования, подготовки подразделений к сертификации систем качества. Для функционирования СМК необходимы системы внутреннего и внешнего аудита. Внутренний аудит – это регламентированная внутренними документами организации деятельность по контролю звеньев управления, осуществляемая представителями специального контрольного органа (аудиторами). Главная задача внутренних аудиторов в вузе – обеспечение потребностей администрации учебного заведения в информации по различный аспектам функционирования СМК и совершенствования качества образования. Помимо аудита для создания и развития СМК в высших учебных заведениях целесообразно создавать системы мониторинга качества образования [11], [19].

Система мониторинга качества образования в вузе должна охватывать все аспекты характеристик качества процесса и результатов образования. Она предназначена не только для накопления данных о качестве образования, но и для проведения различных видов анализа оценок по показателям качества, обеспечивая внутренние потребности учебного заведения и поддерживая оперативный обмен информацией с внешней средой (с работодателями, органами управления образованием, общественностью, родителями студентов и т.д.).

91

Вузовская система мониторинга качества образования предполагает формирование единых требований к системе доступа ввода, хранения и представления результатов контроля подготовленности студентов, создание общевузовского банка оценочных средств, обеспечение возможности интерактивного обмена информацией с пользователями (администрацией вуза, преподавателями и студентами) в рамках полномочий, определяемых персональными уровнями доступа. Интегрированная в единое информационное пространство вуза, система мониторинга качества образования позволит всем участникам образовательного процесса повысить эффективность своей деятельности и обеспечит непрерывность процессов совершенствования качества образования.

Основные функциональные задачи, решаемые с помощью системы мониторингакачества образования, следующие[19]:

–развитие системы менеджмента качества вузовского образования;

–информационное обеспечение контроля и аттестации студентов;

–информационное обеспечение системы принятия управленческих решений на различных уровнях;

–сбор и хранение педагогических тестовых материалов для подготовки и проведения текущего и рубежного контроля

иаттестации;

–выдача информации пользователям;

–построение шкал результатов оценивания;

–авторизация доступа к информации пользователей на базе многоуровневой системы информационной безопасности;

–анализ тенденций и прогнозирование динамики изменения качества вузовского образования;

–обеспечение данных о запросах работодателей, формирование базы данных отзывов о выпускниках;

–обработка и представление обобщенных результатов пользователям, в соответствии с их сценарием доступа.

Для обеспечения доступа пользователей к данным мониторинга в вузе необходимо создать распределенную информационную систему на основе технологии «клиент – сервер», кото-

92

рая будет функционировать в рамках локальной информационной сети учебного заведения. В этой системе каждому пользователю отводится свой сценарий доступа, который определяет круг объектов и характеристик, доступ для чтения и модификации информации в соответствии со следующей классификацией [19]:

–пользователи, имеющие минимум прав доступа для просмотра открытых информационно-справочных ресурсов, таких, как публичные годовые отчеты и справочные материалы по работе с информационной системой;

–студенты (слушатели), имеющие возможность просмотра собственных результатов, в том числе и за предыдущие годы обучения, а также совокупных (средних) результатов по своей группе, курсу, институту и университету; получения примеров вариантов тестов по изучаемым дисциплинам для самоподготовки;

–преподаватели, имеющие возможность контроля учебных достижений студентов в своих группах, доступа к банку тесто-заданий, ввода результатов контроля;

–работники учебно-методических отделов (деканатов) институтов (факультетов), имеющие возможность контроля результатов оценивания учебных достижений студентов;

–работники учебно-методического управления, контролирующие деятельность вузовских подразделений и преподавателей, а также имеющие доступ для ввода и коррекции информации об организационной структуре подразделений;

–системные администраторы, осуществляющие контроль

ианализ размещаемых фактических данных, назначение полномочий (сценариев доступа) пользователям;

–группы специалистов, имеющие права разработки и доступа к информационным базам системы мониторинга для анализа и передачи результатов обработки данных с последующим использованием в решении задач управления вузом;

–другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и разделами банка тестевых заданий с целью их профессионального использования

93

или размещения фактической информации, определяемой индивидуальным сценарием доступа и профессиональными обязанностями.

Обеспечение информационно-аналитической поддержки управления качеством образования в системе мониторинга реализуется введением модуля статистической обработки совокупной информации и предоставления результатов анализа в соответствии с запросами пользователей. Этот модуль позволяет анализировать фактическую информацию для последующего размещения в информационной среде и подготовки с целью дальнейшего использования в решении задач управления вузом, в электронных таблицах, таблицах баз данных и информационных материалах отчетного характера.

Обновление хранимой информации в системе мониторинга обеспечивается путем доступа с клиентских рабочих мест к информационной базе системы для модификации документов и записей в соответствии с индивидуальным сценарием доступа каждого пользователя. При этом система обеспечивает целостность информационной базы. Ее контроль обеспечивают специальные индикаторы (контролирующие программы), которыми управляют системные администраторы.

Несмотря на явные достоинства СМК образования, не все руководители вузов и преподаватели поддерживают необходимость создания такой системы и использования ее результатов. Возможные причины подобного неприятия могут носить субъективный характер и быть связанными с особенностями личностного восприятия информации, которая иногда кажется противникам мониторинга избыточной и излишне формализованной, либо противоречащей собственным благоприятным оценкам результатов учебного процесса.

Помимо субъективных есть ряд объективных причин, способствующих негативной оценке мониторинга образовательного процесса. Встречаются случаи неправильной или упрощенной интерпретации данных мониторинга и проведения обследований без учета дополнительных факторов, например социально-экономических, которые значительно влияют на результаты образовательной деятельности.

94

Таблица 2

Объекты и направления обмена данными и информацией

Наблюдаемые, по данным мониторинга, отставания студентов могут быть следствием неучтенной слабой материальнотехнической оснащенности учебного процесса, низкой квалификации преподавательского состава, ошибок в формировании выборочной совокупности студентов для проведения мониторинговых обследований и др. Вместе с тем, возможны искусственно завышенные результаты, получаемые путем исключения из обследования слабых студентов через сговор экспертов и т.д.

Все эти причины в совокупности значимо снижают достоверность информации мониторинга и приводят к тому, что мно-

95

гие исследователи просто предлагают отказаться от проведения любых сравнений качества образования. К тому же они полагают, что мониторинг может отвлекать педагогов от учебного процесса и отнимать время на усвоение нового материал у студентов. К противникам мониторинга относятся сотни преподавателей и управленцев во всех странах, которые считают, что проведение мониторинга нередко выдвигает завышенные требования к их времени и возможностям, а в конечном счете, уменьшает их авторитет среди студентов и коллег и использует ими же собранную информацию против них.

Помимо временных потерь, проведение мониторинга требует больших денежных затрат. В финансировании нуждается работа по формированию выборочных совокупностей студентов, созданию инструментария (тестов, анкет, опросных листов, программного обеспечения и т.д.), сбору данных, кодированию и анализу данных, их обработке, интерпретации и подготовке информационных бюллетеней. Мировой опыт проведения мониторинга говорит о том, что затраты могут перевесить выгоды, если не приложить усилий по соблюдению всех методических требований к проведению мониторинга, не обеспечить достоверности информации и не создать условий для ее использования в управлении качеством образования.

Специалисты по мониторингу выделяют ряд условий эффективности [21], [45]:

–системный подход, обеспечивающий слаженную работу механизма по сбору, обработке, анализу и интерпретации информации;

–сочетание количественных и качественных методов измерений в мониторинге;

–преимущественная ориентация системы показателей, по которым проводится мониторинг, на практику и методы обучения;

–достаточная полнота совокупности показателей, учет различных факторов, в том числе и косвенно влияющих на результаты обучения;

–корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями;

96

–репрезентативность выборочных совокупностей студентов, принимающих участие в мониторинге;

–широкое привлечение к проведению мониторинга квалифицированных специалистов и преподавателей вуза;

–использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга;

–наличие необходимой материально-технической базы;

–методическая и финансовая помощь со стороны администрации вуза.

Таким образом, даже если отвлечься от негативных последствий мониторинга и принять идею его проведения, придется решать много сложных проблем. Необходимо беспокоиться о проектировании системы мониторинга и выборе его модели, компетентности организаторов и участников, финансовых затратах, определении показателей, методиках анализа данных, определении круга пользователей и структурирования данных по различным уровням доступа, выборе вида представления данных, методах их интерпретации и т.д. Нужно также договориться о направлениях использования данных мониторинга, поскольку его результаты можно применять как для поощрений, так и для санкций против отдельных преподавателей или кафедр в вузе. В целом можно утверждать следующее:

•системы мониторинга могут вносить значительный позитивный вклад в работу как преподавателей, так и управленцев. Мониторинг выполняет множество функций, релевантных повышению качества обучения и уменьшению несправедливости, вызванной субъективизмом преподавателей и управленцев в образовании;

•системы мониторинга могут стимулировать развитие многочисленных позитивных тенденций, они позволяют оценить эффективность различных инноваций в образовании;

•данные мониторинга не заменяют прочей информации, необходимой для принятия управленческих решений в образовании. Их следует использовать совместно с другими данными

осистеме образования, собранными в результате бесед со штатом преподавателей и студентов;

97

• при проведении мониторинга следует учитывать не только его позитивные возможности, но и вероятные негативные последствия. Преодолеть негативные результаты внедрения систем мониторинга в образование можно в том случае, если управленцы и педагоги заранее осведомлены о сложностях мониторинга и ограничениях на использование его данных, а также если мониторинг проводится в соответствии с научно обоснованными методиками и технологиями.

2.5. Эвалюация в образовании

Термин «эвалюация» (в англоязычной литературе evaluation) не распространен в отечественной педагогическом науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание; определение количества, качества), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [12].

За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте ра-

98

ционально-критического осмысления социально-педагогиче- ской значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самореализации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации давали учителям возможность осуществлять рефлексию школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.

Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.

В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким об-

99

разом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналити- ческой деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на анализ изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий в совокупности научно обоснованные решения для управления его качеством.

Хотя методологические основы эвалюации в наше время строятся на сочетании количественных и качественных методов, центральное место в научном аппарате отводится теории педагогических измерений, поскольку качественные данные также подлежат анализу для выявления их надежности и валидности, а инструментарий разрабатывается с применением математико-статистических методов.

Так как эвалюация сформировалась на стыке педагогики, психологии, экономики, менеджмента и других наук, то ее теория носит явный междисциплинарный характер. Применение количественных методов в эвалюации требует использования математики, статистики, факторного анализа и метаанализа и т.д. Теория управления качеством образования привносит синергетический и процессный подходы к анализу эмпирических данных в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Теория генерализации, используемая в эвалюации для анализа точности данных на различных

100