§ 8. О возможности (или невозможности) интеграции различных результатов оценки качества образования

Итак, механизмы интеграции результатов, опреде­ляемых по разным параметрам, по отношению к разным, хотя и взаимосвязанным, объектам не разработаны. Но ведь какие-то более или менее корректные способы оценки качества образования существуют в практике. Познако­мим с ними наших читателей, прокомментируем эти спо­собы и дадим некоторые рекомендации.

71

Прежде всего авторы считают своим долгом предуп­редить читателей об одной довольно распространенной ошибке, которую допускали многие российские и зару­бежные педагоги и управленцы достаточно долгое время. Речь идет о том, что практики ратовали за точное опре­деление (или даже измерение) уровня обученности, вос­питанности или развитости ребенка, классного коллек­тива, школы по ряду предложенных частных параметров и суммировали их. Причем оценка этих параметров назы­валась количественной, поскольку выражалась в цифрах (баллах).

Сама по себе оценка даже уровня нравственной вос­питанности в баллах (это метод тех же уровневых шкал) ничего негативного в себе не несет. Но суммирование их, попытки выяснять среднее значение и тому подобные ма­нипуляции конечно же были ошибочными, научно не­корректными и потому многократно были осуждены и высмеяны в печати. Эти горе-исследователи пришли к тому, что стали выводить средний количественный пока­затель уровня обученности, обучаемости, учебных и нрав­ственных возможностей, развитости школьников и даже целых классов, суммировать и выводить средний показа­тель, например, развитости чувства патриотизма в клас­се и школе. Абсурдность подхода привела к полной вуль­гаризации самой идеи оценки результатов образования, поскольку классные коллективы стали соревноваться по таким показателям, как любовь к Родине, интернацио­нализм, стали опережать, обгонять друг друга (соревно­вание ведь!) и т. п. Ошибка здесь была в том, что каждый из показателей результатов образования, входящий в про­грамму изучения ли личности, в перечень ли текущих или конечных результатов, не был равновесомым, равнозначимым, да и выражал разную сущность. Вот почему по­пытки применения математических действий с этими "измерениями" в отношении к духовной материи были и остаются просто абсурдными.

72

Мы об этом написали потому, что многие исследо­ватели-управленцы в той или иной форме и сейчас про­ходят через вышеописанные ошибки, переживают иску­шение заняться, как говорят, "бухгалтерией" образован­ности, развитости, воспитанности. Все способы, прямо или косвенно основанные на выше приведенной "бух­галтерии", неприемлемы ни в каком виде.

А теперь рассмотрим, как поступают осторожные, корректные исследователи — ученые и практики. Их пред­ложения небезупречны, но если воспользоваться разны­ми способами и они дадут совпадающие или близкие ре­зультаты, то вероятность ошибочных оценок резко умень­шается.

В литературе встречаются рекомендации и опыт, ког­да к каждому параметру оценки результатов или качества образования вводится так называемый коэффициент ве­сомости, устанавливаемый самим исследователем. Но оп­ределение этих коэффициентов субъективно, а потому и все оценки сомнительны, тем более, что корреляция (за­висимость) между ними вообще не исследована.

Есть и такое предложение: каждому выпускнику выс­тавляется балльная качественная оценка по согласован­ным для всех школ города (района) показателям, потом выстраивается ранговый ряд этих оценок и тогда лучши­ми признаются показатели по тому школьнику, классу, школе, у которых сумма мест меньшая.

Если результаты деятельности оцениваются по груп­пе параметров, то можно пойти по пути выдающегося итальянского экономиста и социолога Вильфредо Парето и искать множество неулучшаемых состояний, затем — таких состояний, у которых улучшение по одному пара­метру приводит к ухудшению по другому. Затем множе­ство этих состояний предлагается управленцу, а он мето­дом экспертной оценки выбирает "лучший".

Известно еще много методов так называемой "мно­гокритериальной оптимизации", но они очень субъектив­ны.

73

Можно честно заявить, что результаты образования оцениваются только по каким-то одним, выбранным руководителями параметрам, публично признав, что это небезупречный, ущербный подход, предоставив возмож­ность внешним (независимым) экспертам давать итоговую оценку.

Можно, наконец, попытаться оценить результаты об­разования по всем приведенным (и не приведенным) здесь параметрам, не предпринимая заведомо бесперспектив­ных попыток объединить их, а стремясь ликвидировать только негативные результаты.

В последние годы в разных регионах России стали ис­пользовать разработанные органами образования (или созданными ими ВНИКами) системы аттестации обра­зовательных учреждений, где среди прочих имеются и по­казатели качества образования. Суть аттестационных тех­нологий следующая. Сначала определяются (называются) обобщенные показатели, а затем они оцениваются по раз­ному количеству критериев (как правило, не больше де­сяти), соответствующих, как записано в положениях об аттестации, установленной норме. Качество образования (как и другие параметры) оценивается по количеству кри­териев, соответствующих норме, например: если 4 кри­терия из 4-х или 5 или 10 критериев из 11 соответствуют норме, то школа по показателю качества образования оце­нивается положительно и признается аттестованной. Не правда ли, уважаемый читатель, привлекательная и, как кажется на первый взгляд, вполне разумная технология?

При пристальном рассмотрении становится очевид­ной различная значимость (весомость) каждого показа­теля и критерия. Ну кто возьмет на себя смелость положи­тельно аттестовать образовательное учреждение, если по большинству показателей и критериев школа выглядит вполне респектабельно, но вот есть, пусть даже единич­ные, факты . . . распада личности выпускников из-за упот­ребления наркотиков? Кроме этого, возникает законо­мерный вопрос о достаточности числа критериев, отно-

74

симых к норме. Ведь непонятно, почему нормой считают именно это число показателей, а не большее и не мень­шее. Как мы видим, и эта система далека от совершен­ства.

Все названные (и не названные, но похожие на при­веденные) способы грешат одним и тем же — механис­тичностью, ибо весомость каждого из используемых фак­торов и взаимовлияние их неизвестны, как и механизмы их интеграции. И это все при том, что конечные интегративные показатели существуют и ими постоянно пользу­ются многие руководители, о чем мы писали выше.

Во всех случаях работы с результатами образования нужно оценивать и собственно положительные, по своей сути, итоги, и то, какой ценой они достигнуты.

Это лучшее из возможного, что мы можем пореко­мендовать читателям.

В заключение раздела приведем точки зрения несколь­ких известных авторитетов в области педагогики и управ­ления образованием.

Б. С. Гершунский — академик Российской академии образования, доктор педагогических наук, профессор:

"Попытки выйти на некий интегративный уровень оценки качества образования (имея в виду личностпо-ориентированный аспект такой оценки) путем индуктив­ного "собирания" отдельных, частных качественных ха­рактеристик личностных образовательно-воспитательных приобретений не могут быть продуктивными. Личность — целостна. Она не формируется по частям (по типу так называемого "комплексного" подхода к воспитанию, обу­чению или развитию личности). Можно предложить мно­жество частных показателей качества образования (вос­питания, обучения, развития), но их сумма, их механи­ческое сложение никогда не будут полными.

Более рациональным представляется дедуктивный подход к решению проблемы оценки качества образова­ния. При этом выделяется достаточно общий, интегра­тивный в принципе, критерий, обоснованный не только

75

в рамках собственно педагогической науки, но и в более широкой области (философии, культурологии, психоло­гии и т. д. ). Поиск таких глобальных показателей и соот­ветствующих критериев — дело нелегкое хотя бы потому, что требует междисциплинарного решения. Но уже сей­час в русле философии образования предложены два зас­луживающих серьезного внимания показателя: ментали­тет как глобальная характеристика мировоззренческих и поведенческих параметров личности и (что несколько сложнее по системе аргументации, но крайне важно) стремление к наиболее полной жизненной самореализа­ции с учетом собственных способностей. Последний по­казатель качества требует расчленения на: а) формирование убежденности (по сути — ВЕРЫ) в то, что это и есть смысл жизни человека и б)ЗНАНИЕ о собственных спо­собностях и путях их реализации на основе соответствую­щим образом приобретенных и необходимых предметных знаний, умений, навыков, творческих параметров и т. п.

Указанные характеристики могут быть положены в составление так называемой модели выпускника любого учебного заведения (и промежуточных моделей), а далее служить для декомпозиции (расчленения) общих ценно­стей и целей образования на множество локальных, струк­турированных и конкретизированных целей (и соответ­ствующих показателей качества) на разных этапах обра­зования с указанием необходимых средств достижения этих целей и методов оценки (тесты, например).

Особое внимание следует уделить методам коллектив­ной экспертной оценки итогового качества образования (по типу педагогического консилиума). Только такой под­ход позволяет системно оценить реальные результаты об­разования и является экономичным, оперативным по вре­мени реализации".

Е. А. Ямбург — член-корр. РАО, доктор педагогических наук, заслуженный учитель Российской Федерации, ди­ректор Центра образования № 109 г. Москвы:

76

"Качество образования — это категория, если можно так выразиться, "штучная" и корректно может быть оп­ределена только на уровне конкретного ребенка, выпус­кника на основе фактов, поступков, его поведения в раз­ных ситуациях, о чем мы уже писали в данной книге. Любые попытки сложения каких-либо показателей изна­чально некорректны, и, по сути, они представляют со­бой не большую ценность, чем средняя температура по больнице.

Мы признаем трудность фиксации достигнутых ре­зультатов, ибо, слава Богу, еще никому не удавалось из­мерить духовный рост личности. Тем не менее, в реаль­ной жизни, встречаясь с людьми, мы достаточно быстро понимаем, с кем имеем дело. Существует довольно боль­шой спектр косвенных улик, "разоблачающих" тонкого интеллигентного человека: круг интересов, манера пове­дения — особенно в конфликтных ситуациях, когда сле­тают покровы и мгновенно обнажается суть личности, стиль ведения полемики, способность к сопереживанию, наконец, ответственность, совестливость, деликатность. . .

Бессмысленно пытаться перечислить все внешние про­явления по-настоящему развитой личности. Важно помнить другое: так же, как в медицине, педагогическая диагнос­тика никогда не строилась исключительно на объектив­ных верифицированных данных, но всегда предполагала терпеливое вдумчивое наблюдение. Другое дело, что на­блюдениями не отчитаешься о проделанной работе. Следо­вательно, в контексте культурно-исторической педагоги­ки должно меняться и управление школой, неизбежно приобретая ценностный характер".

В. И. Загвязинский — действительный член Российской академии образования, доктор педагогических наук, про­фессор:

"Согласен, что показатели качества образования нельзя валить "в кучу". Оценивать их нужно по группам. Мое отношение к показателям, предлагаемым в этой кни­ге, следующее.

77

1. Знания, умения и навыки — не вызывает возражений.

2. Показатели личностного развития — несомненно, но их нужно расшифровать по-современному, включив показатели самореализации, социальной мобильности, социальной устойчивости. Здесь можно выделить и отдель­ную группу показателей под названием "Социализация, воспитание", куда, кроме вышеназванных, включить показатели воспитанности, социокультурной адаптации.

3. Отрицательные эффекты образовательного процесса — в принципе согласен, но корректнее назвать их побочны­ми эффектами, поскольку они могут быть и отрицатель­ными, и положительными.

4. Компетентность учителей — да, но не только учи­телей, а и воспитателей, руководителей школы и т. д.

5. Престиж школы в социуме — нет возражений. Я бы добавил группу показателей — "Здоровье», «Валеологическая культура».

Обобщать показатели можно только внутри групп, не складывая их, а выявляя их динамику либо по уровням, либо по показателям (баллы, очки).

Еше раз подчеркиваю: показатели групп (частные или обобщенные) не суммируются, а анализируются по сте­пени выраженности и характеру изменений (динамика, соответствие эталонам, где это возможно).

Результаты могут быть признаны положительными, если ни по одной из ведущих групп показателей нет отрицатель­ной динамики, а по каким-то (еще лучше - по всем) дина­мика положительная. Иными словами, любое улучшение знаний за счет здоровья или воспитанности, или разви­тия не дает даже повода для положительной оценки каче­ства образования.

Точно так же недопустимо положительно оценивать, скажем, улучшение здоровья за счет замедления интел­лектуального развития или развития творческих способ­ностей.

Но, конечно, остаются вопросы: "Как сравнить сте­пень позитивности результатов образования?", "Как сде­лать это в интегральной форме?" Наверное, только мето-

78

дом оценки экспертов. И тут важно, чтобы эксперты были не просто экспертами по должности, а экспертами по сути, то есть компетентными специалистами.

Если хотя бы по одной группе показателей выявлена отрицательная динамика, это серьезный повод для раз­мышлений, коррекции работы".

От себя (Ред. ) добавим: оценка качества образования но динамике изменения его результатов — очень продуктив­ный способ, требующий систематического мониторинга результатов, который наиболее прогрессивные руково­дители начали в последнее время осуществлять. Однако здесь следует заметить, что одним пусть даже самым тща­тельным мониторингом проблема не исчерпывается, ибо сам по себе мониторинг не повышает качества образования, а только помогает его отсле­дить. Для повышения качества образования, как прави­ло, необходимы нововведения, организация разработки и освоения новшеств, то есть инновационный процесс.

В. А. Караковский - член-корреспондент Российской академии образования, доктор педагогических наук, зас­луженный учитель Российской Федерации, директор 825-й московской школы:

"Не претендуя на полноту и непогрешимость сужде­ний, хочется высказать несколько соображений в рамках проблематики данной книги.

Чем сложнее педагогическое явление, тем многооб­разнее должны быть показатели, его измеряющие и оце­нивающие. Это прописная истина, которая воспринима­ется как банальность. К сожалению, именно прописные истины меньше всего учитываются, особенно в периоды перестроек и реформирования. Как говорил А. С. Пушкин, "охотники мы все до новизны".

В оценке качества образования мы исходим из мето­дологической базы, принятой в современном научном мире, — из системного, целостного, многомерного под­ходов.

В то же время в образовании, особенно при инспек-

79

тировании и аттестации школ, традиционно стремление к полной и окончательной определенности. Для этого мно­гообразие показателей — только помеха. Куда проще дог­матизировать один или несколько критериев, особенно те, к которым легко применить метод математической ста­тистики. Такой одномерный подход порождает постулаты типа "хороший ученик — хороший человек".

К великому сожалению, существует негласная уста­новка на реформирование образования в отрыве от вос­питания.

В общественном и профессиональном сознании со­здается иллюзия о том, что можно построить новую шко­лу без воспитывающего обеспечения. Достаточно посмот­реть на то, какие цели ставят пред собой так называемые образовательные учреждения нового типа: формирование интеллектуальной элиты, удовлетворение запросов семей высокого уровня, обеспечение гарантированного поступ­ления в вуз. Затраты на воспитание в этом контексте вос­принимаются не только как неоправданные, но даже ме­шающие деловому успеху и жизненной карьере. Неслу­чайно все новации у нас затрагивают только процесс обу­чения и его организацию. Если же мы не преодолеем пресс дидактического монополизма и не высвободим из-под него могучие резервы воспитания личности, мы не сможем двигаться вперед.

Все школы условно можно поделить на две группы. Первая — те, что главной целью считают знания. В этом случае ученик выступает как средство достижения цели. Для других главной целью является человек. Тогда все ос­тальное, что происходит в школе, является средством, условием его нормального развития. Легко себе предста­вить разницу в понимании качества образования. В первом случае соотнести цели и результаты проще, привычнее. Во втором случае все гораздо сложнее и многозначнее.

Если принять за ориентир Человека — цель, то не­медленно возникает вопрос: а какой? Прежний опыт ри­совал нам, говоря словами В. А. Сороки-Росинского, "ме­80

шок, набитый добродетелями". Сегодня очевидно, что тра­диционный функциональный подход делу вряд ли помо­жет. Нужны некие интегративные характеристики, кото­рые в своей совокупности могут создать умозрительный образ выпускника современной школы (не хочется к че­ловеку применять понятие "модель"). Вот один из возможных вариантов:

• Высокое самосознание личности, ориентированной на вечные человеческие ценности, переведенные в собственные убеждения и жизненные принципы.

• Физическое и нравственное здоровье как гармония телесного и духовного развития.

• Широкая образованность, не только свободное вла­дение основами знаний, но и непрерывное само­образование, ставшее потребностью и привычкой на всю жизнь.

• Высокая воспитанность — интеллигентность, актив­ное неприятие зла, хамства, пошлости, фальши, стремление жить честно.

• Чувство Родины, активная гражданская позиция, способность к социальному творчеству.

Это идеал современного молодого человека, приня­тый в нашей школе. Воспитание можно понимать, как движение к идеалу. Мы чувствуем в себе достаточно сил и знаний организовать это движение. Ему мы посвящаем наши педагогические программы, на этих основаниях мы строим школьную воспитательную систему.

Разумеется, нас, как и всех, очень волнуют пробле­мы, связанные с организацией этой работы и измерени­ем ее результативности.

Скажем сразу: всего измерить невозможно. Есть в на­шем деле немало результатов, которые подсчитать нельзя, которые воспринимаются на уровне педагогической ин­туиции. Разве нам нужны какие-то особые критерии, чтобы отличить воспитанного человека от хама? Ведь все легко

81

различают трезвого и пьяного, тяжко больного и здоро­вого. Однако есть в современном педагогическом арсена­ле достаточное количество приемов, методик, способов, позволяющих получить объективную информацию: рабо­та со статистикой и включенное наблюдение, индивиду­альные беседы и нештатные ситуации, независимая экс­пертиза и педагогические консилиумы, различные вари­анты опроса и методы самопроверки, социометрия и референтометрия, набор психологических тестов и диагно­стических методик, деловые игры и специальные компь­ютерные программы, независимые характеристики и ве­дение индивидуальной карты ребенка.

Инструментов много — надо их изучить и найти вре­мя для применения, тогда заработают критерии.

К слову сказать, мы для себя все критерии делим на четыре группы (условно, конечно).

Первая группа — критерии факта. Они, в основном, дают нам количественные показатели. Ими хорошо изу­чать внешние обстоятельства.

Вторая группа - критерии качества. Они дают пред­ставление о глубине и прочности происходящих в ребен­ке процессов.

Третья группа — критерии отношения. По ним можно судить о мотивах поведения и действия, о выборе, кото­рый осуществляет человек.

И, наконец, критерии времени. Они показывают ус­тойчивость во времени знаний, умений, навыков, при­вычек, черт характера, повторяемость проявлений лич­ности.

Мы не обольщаемся тем, что данные рассуждения вызовут у всех согласие и поддержку. Но мы твердо зна­ем, что пользу извлекает тот, кто хочет ее извлечь. Порой опытному педагогу достаточно одной мысли, даже наме­ка, чтобы он включил свой творческий потенциал и раз­вил энергичную и осмысленную деятельность.

Пусть же так и будет".

И, наконец, еще раз приведем точку зрения осново-

82

положника российской педагогики К. Д. Ушинского, выс­казанную им более века назад: "Труд наш не удовлетво­рит тех идеалистов и систематиков, которые думают, что всякая наука должна быть системою истин, развиваю­щихся из одной идеи, а не собранием фактов, группиро­ванных настолько, насколько позволяют сами эти фак­ты".

Казалось бы, мы ответили на вопрос о возможности (или невозможности) интеграции различных оценок ка­чества образования и даже познакомили читателей с ори­гинальными взглядами ряда известных ученых и практи­ков на то, как можно научно корректно оценить качество образования. Однако. . .

Однако, мы должны признать, что после изложения этого фрагмента в лекционных аудиториях руководителей образовательных учреждений, после получения от наших респондентов информации об их оценке прочитанного, те, для кого мы писали, оставались с чувством неудов­летворенности.

Причина оказалась не в сомнениях в ценности пред­ложенного, а в управленческой проблеме оценки работы школ при проверках и аттестации органами образования. Руководители школ жаловались на то, что проверяющие никогда не будут углубляться в тонкости системы крите­риев образовательного процесса, что у проверяющих все­гда нет времени для тщательного, всестороннего и глубо­кого анализа, что они чаще всего некомпетентны в оцен­ке работы школ и приходят со своими "мерками", весь­ма далекими от изложенного в книге (в лучшем случае корректно оценивают только обученность, хотя этого явно недостаточно).

На это мы ответим следующее. Прежде всего, сама школа, ее руководители должны изложить любым прове­ряющим лицам ценностные основания (философию) ру-

83

ководимого образовательного учреждения, представить им собственные результаты диагностики образованности уча­щихся по принятым в школе параметрам в виде честных и объективных исследовательских материалов (графиков, диаграмм, анализов, результатов исследований). Иссле­довательский подход в управлении школой должен быть убедительно продемонстрирован проверяющим. Это одна сторона нашего ответа.

Другая состоит в том, что руководителям школ не­обходимо понять: никогда еще правильные способы орга­низации деятельности не возникали сами по себе, без борьбы. За идеалы нужно бороться. А потому проблему компетентности инспекторов, специалистов разных ка­тегорий — всех работников аппарата органов управления образованием нужно ставить и бескомпромиссно. Разуме­ется, лица, состоящие на должностях главных спе­циалистов (!) управления или начальника управле­ния, должны быть безупречно компетентны в своей дея­тельности. Повышению уровня этой компетентности, мы надеемся, служит и эта книга.