5278

качества инновационной психолого-педагогической деятельности, основанная на квалиметрическом подходе; определены критерии оценки качества инновационной психолого-педагогической деятельности в учреждениях общего образования.

Разработка и совершенствование процедуры измерения и оценивания позволят найти компромисс между стандартизацией целей образования и его творческой составляющей, придания им свойств объективной диагностики и адекватного мониторинга инновационной психолого-педагогической деятельности.

В системе оценки качества инновационной психолого-педагогической деятельности должна использоваться совокупность критериев, к которым относятся общие и частные критерии качества инновационной психологопедагогической деятельности, а также показатели качества результатов образования («качество учащегося»).

Система оценки качества инновационной психолого-педагогической деятельности должна выстраиваться с учетом особенностей образовательного учреждения, контингента учащихся и педагогического коллектива, их педагогических, психологических и психофизиологических особенностей и возможностей, а также социально-экономических особенностей каждой территории (места нахождения образовательного учреждения).

Система оценки качества инновационной психолого-педагогической деятельности должна обладать определенными качествами: высокой степенью надежности, технологическим совершенством (или универсальностью) и простотой в применении. Под надежностью и универсальностью следует понимать внутренние свойства системы, которые входят в более общее понятие

качества системы.

Под надежностью системы понимается ее свойство выполнять заданные функции, сохраняя константные значения в различных условиях использования в заданных пределах. Для конкретных условий использования системы свойства надежности могут иметь различную относительную значимость.

Безотказность - свойство отражать правильное значение при заданных условиях в течение установленного срока.

Сохраняемость - свойство сохранять полученные значения в течение определенного времени.

Малая погрешность - свойство объективности оценки, независимости от человеческого фактора. Данное свойство надежности зависит от культуры управления инновационной психолого-педагогической деятельностью.

Понятие отказа является основным понятием теории надежности, после которого объект, а в нашем случае (система качества) утрачивает способность выполнять заданные функции. Основной причиной отказа может быть нарушение установленных условий и правил применения системы, другими словами это

эксплуатационный отказ.

Надежность как внутреннее свойство системы сохранять свои параметры в заданных пределах зависит от большого числа факторов, носящих, как правило, случайный характер. В связи с этим надежность, т.е., по существу, определение количественных характеристик надежности, целесообразно рассматривать как исследование вероятностных свойств компонентов системы, функционирующих в

31

реальных условиях, когда на них действуют случайные возмущения. Показатели надежности (Безотказность, Сохраняемость, Малая погрешность) по своей сути в корне отличаются от всех остальных показателей качества.

Суть этого отличия можно проследить в афоризме, используемом в литературе: «надежность - это качество, развернутое во времени». Каждый из указанных выше единичных показателей надежности можно выразить либо через соответствующие временные интервалы (такие показатели относят к показателям типа Т - временные), либо через вероятность наступления состояния, характеризуемое показателем качества (такие показатели относят к показателям типа Р - вероятностные). Это временное содержание показателей надежности, а также их тесная взаимосвязь с другими показателями качества (например, показателями назначения) не позволяет оперировать с ними, как с другими, при комплексировании.

Так, показатели надежности нельзя включать в формулы средневзвешенных показателей. Их влияние на комплексный показатель учитывают особо.

Надежность системы определяется по формуле (2):

где Q i - единичные показатели надежности системы; g i - весовые

коэффициенты каждого единичного показателя надежности; n - число единичных показателей, объединяемых в комплексный.

Для системы оценки качества инновационной психолого-педагогической деятельности надежность определяется следующей формулой (3):

погрешность; g3 - весовой коэффициент погрешности.

Математическая модель, которая является описанием системы, функционирующей в реальных условиях, т.е. в условиях всякого рода случайных воздействий, является стохастической моделью системы (4):

где уравнение может быть алгебраическим, дифференциальным, интегральным либо функциональным. Метод математического моделирования является универсальным методом нахождения закона распределения f(z)по

законам распределения fi (xi ) .

Достоинством метода статистического моделирования является возможность ее применения для нелинейных систем, высокая алгоритмичность, относительная простота численной реализации. Недостатком метода является то, что численный метод дает частный характер решений и то, что необходима оценка точности полученных результатов.

Полученные значения Z делятся на ряды, строится гистограмма, затем с использованием методов математической статистики по гистограмме

32

определяется теоретический закон распределения, а по теоретическому закону определяется вероятность отказа элемента системы.

Понятие технологического совершенства системы включает в себя совокупность таких ее характеристик как оптимальность, независимость и

уровень функциональных характеристик.

Оптимальность предполагает наличие необходимого и достаточного количества компонентов для объективной и полной оценки качества объекта.

Под независимостью системы следует считать отсутствие влияния внешних факторов на систему.

Уровень функциональных характеристик представляет собой набор параметров, представленный в виде структуры взаимосвязанных компонентов, влияющих на жизнеспособность системы.

При описании системы оценки качества необходимо выделять требования, предъявляемые к системам управления, по которым можно судить о степени организованности систем.

К таким требованиям относятся:

∙детерминированность элементов системы;

∙динамичность системы;

∙наличие в системе управляющего параметра;

∙наличие в системе контролирующего параметра;

∙наличие в системе каналов обратной связи.

Соблюдение этих требований должно обеспечивать условия эффективного уровня функционирования системы.

С целью агрегирования множества показателей в комплексную оценку определяются их статистические характеристики - статус и значимость. Необходимые характеристики определялись нами с помощью экспертных опросов.

Комплексный показатель качества включает такие единичные показатели качества, которые необходимы (по характеру) и достаточны (по числу). Структуры в форме «дерева» показателей качества инновационной психологопедагогической деятельности очень часто используют как вспомогательный инструмент для определения весов (коэффициентов весомости) показателей качества на всех уровнях структуры.

Чаще всего веса показателей качества определяют экспертным методом, в котором широко используют способ попарного сопоставления объектов (явлений, свойств и т.д.), лежащий в основе всякого выбора и принятия решений. Чем меньше единичных показателей качества комплексируется на каком-то уровне структуры («дерева»), тем определеннее мнение (выбор) эксперта. В идеале каждый комплексный показатель желательно формировать из двух единичных.

Таким образом, комплексный показатель качества - это показатель, характеризующий одновременно несколько свойств данной деятельности, которые могут быть объединены в группу (рисунок 1).

33

Рисунок 1 - Составляющие интегрального качества инновационной психологопедагогической деятельности

Определение статистических характеристик показателей критериев качества инновационной психолого-педагогической деятельности, входящих в номенклатуру показателей, состоит из следующих этапов:

∙ определение статуса показателей критериев - доминирующий, компенсируемый. Все показатели критериев инновационной психологопедагогической деятельности, входящие в номенклатуру, делятся на доминирующие и компенсируемые. Смысл статуса показателя: низкое значение доминирующего показателя не может быть перекрыто сколь угодно большим значением компенсируемого показателя и, если имеются два объекта с одинаковым значением доминирующего показателя, то лучшим/худшим будет считаться тот объект, у которого большее/меньшее значение компенсируемого показателя. Статус показателей критериев качества инновационной психолого-

34

педагогической деятельности определяется методом экспертного опроса путем определения весовых коэффициентов показателей критериев качества инновационной психолого-педагогической деятельности. Показатели одного статуса несут разный вклад в общую оценку объекта. Для этого вводятся весовые коэффициенты для каждого показателя. Метод определения весового коэффициента показателя определяется методом экспертного опроса

руководителей общеобразовательных учреждений.

∙единичные показатели критериев качества инновационной психологопедагогической деятельности рассчитываются по формам относительных статистических величин. Существуют следующие виды относительных величин, используемых при расчете единичных показателей:

*относительная величина структуры - характеризует долю отдельных частей в общем объеме совокупности и выражаются в долях единицы или процентах,

*относительная величина интенсивности - представляет собой результат сопоставления разноименных статистических показателей, характеризует распределение явления в определенной среде (насыщенность каким-либо явлением);

∙оценки делятся на 3 основные группы: локальные, возрастающие и убывающие. Оценки двух последних категорий возрастают или убывают соответственно с ростом или снижением показателя, а локальные оценки достигают наивысшего значения, когда показатель принимает оптимальное значение и убывает по мере удаления от него.

Следует заметить, что деление показателей критериев качества инновационной психолого-педагогической деятельности на единичные и комплексные в определенной степени условно. Значение показателя критерия качества инновационной психолого-педагогической деятельности представляет собой конкретное числовое значение, которое может принимать конкретный показатель критерия качества. Этот метод можно отнести к объективной измерительной информации, он не противоречит закону о единстве измерений и доступен в количественной оценке (синтезе) показателя.

В первую очередь необходимо рассматривать критерии, при помощи которых измеряется психолого-педагогическое явление, и собираются исходные данные для дальнейшей статистической обработки.

При оценке качества инновационной психолого-педагогической деятельности в образовательном учреждении необходимо учитывать совокупность внешних и внутренних факторов, отражающих взаимодействие инновационного потенциала образовательного учреждения с другими частями совокупного потенциала образовательного учреждения и влияющие на успешность осуществления инновационного цикла.

Комплексирование измерительной информации по качеству инновационной психолого-педагогической деятельности каждого образовательного учреждения, попавшего в выборку, представленной и отражающей мнения экспертов на нижнем уровне (уровне критериев), оcущеcтвляетcя по формуле (5) свертки:

35

где qК - числовое значение к-cоcтавляющей каждого критерия инновационной психолого-педагогической деятельности; n1 - число критериев, получивших оценку «1»; m0 - число критериев, получивших оценку «0»; g1i - весовой коэффициент i-того критерия, получившего оценку «1»; g0i - весовой коэффициент j-того критерия, получившего оценку «0».

Так как сумма всех весовых коэффициентов всегда равна единице (условие нормировки), то при любой комбинации оценок 0 ≤ qК ≤ 1.

Поскольку сумма всех весовых коэффициентов также равна единице, то, для упрощения расчетов, при в = 1 комплексирование может выполняться по

формуле (6) среднего арифметического взвешенного:

Аналогично для свертки равнозначных критериев инновационной психолого-педагогической деятельности на верхнем уровне комплексирования можно применять формулу (7) среднего арифметического:

Исходя из положения А.В. Галичева об интегральном качестве продукта, качество инновационной психолого-педагогической деятельности (Ки) может быть выражено следующей формулой (8):

применения инновации), представляющая совокупность внешних и внутренних факторов, отражающих взаимодействие инновационного потенциала образовательного учреждения с другими частями совокупного потенциала образовательного учреждения и влияющие на успешность осуществления инновационного цикла.

3

∑ Bi представляет совокупность показателей: B1 - ресурсы на разработку и i=1

апробацию инновации в образовательном учреждении; B2 - затраты на внедрение инновации; B3 - затраты на дальнейшее использование инновации в образовательном учреждении.

Интегральное качество, в данном контексте, служит индикатором при оценке качества инновационной психолого-педагогической деятельности, в

36

частности, при необходимости учета и разрешения противоречий между позитивными и негативными свойствами качества данных инноваций, иными словами - правильно оцененное интегральное качество важно для реализации оптимизационных процессов развития качества.

Всвязи с выше сказанным, необходимо четко определить набор объективных критериев для анализа качества инновационной психологопедагогической деятельности в образовательном учреждении, что предполагает, на начальном этапе, предварительную оценку самой инновационной идеи и её технологического воплощения, а также экспертизу результатов внедрения данной психолого-педагогической новации в учебно-воспитательный процесс.

На наш взгляд, необходимо: во-первых, определить тип обучения, который реализуется в рамках учебного процесса того или иного образовательного учреждения, так как вне соотнесения с конкретным типом обучения нельзя дать психолого-педагогическую оценку приемлемости внедрения той или иной инновационной технологии, а также результатов её использования. Во-вторых, в оценке успешности инновационной психолого-педагогической деятельности большое значение имеет учёт целостности развития личности детей.

Объективная оценка выше обозначенного предполагает мониторинг, соотнесение последствий реализации инновационной психолого-педагогической деятельности с исходным замыслом и всеми промежуточными шагами его воплощения. Данный мониторинг предполагает, в свою очередь, определение способа отслеживания реализации инновационной психолого-педагогической деятельности, оценку ее результативности, анализ возможных последствий нововведений (как положительных, так и отрицательных). Подробная фиксация и описание неудач, просчетов, болевых точек, незапланированных проблем, трудностей, с которыми пришлось столкнуться в процессе реализации определенной инновации, способствует определению точек роста в дальнейшей инновационной психолого-педагогической деятельности, нахождению новых направлений инновационных разработок.

Вчетвертой главе «Апробация системы оценки качества

инновационной психолого-педагогической деятельности в учреждениях общего образования» представлены технология реализации системы оценки качества инновационной психолого-педагогической деятельности как рациональный алгоритм ее внедрения, а также анализ эффектов внедрения системы оценки качества инновационной психолого-педагогической деятельности.

Для реализации системы комплексной оценки качества инновационной психолого-педагогической деятельности учреждений общего образования должны быть подготовлены необходимые инструктивные материалы и проведено обучение организаторов и участников этих процедур. Процедуры оценки качества инновационной психолого-педагогической деятельности на всех уровнях должны взаимодополнять друг друга. Технология реализации системы комплексной оценки качества инновационной психолого-педагогической деятельности учреждений общего образования как рациональный алгоритм ее внедрения включает в себя следующую последовательность этапов:

37

I Подготовительный этап: определение рабочей и экспертной групп• для оценки качества инновационной психолого-педагогической деятельности учреждений общего образования.

II Аналитический этап: оценка показателей критериев качества инновационной психолого-педагогической деятельности учреждений общего образования; анализ результатов экспертизы инновационной психологопедагогической деятельности по всем образовательным учреждениям и результатов оценки качества инновационной психолого-педагогической деятельности в учреждениях общего образования.

III Синтетический этап: сведение полученных данных проведенных экспертиз; оптимизация системы оценки качества инновационной психологопедагогической деятельности учреждений общего образования.

На первом (подготовительном) этапе создается рабочая группа (далее РГ), являющаяся коллегиальным органом с ограниченным сроком действия, который создается для решения актуальных задач оценки качества инновационной психолого-педагогической деятельности. В подчинение руководителя (организатора) РГ входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов работы экспертов и т.п.

При определении состава РГ выполняется ряд обязательных мероприятий: постановка проблемы и определение области деятельности РГ; составление предварительного списка специалистов в рассматриваемой области деятельности; анализ качественного состава предварительного списка РГ и уточнение списка; получение согласия членов РГ для участия в работе; составление окончательного списка РГ.

Подбор конкретных членов РГ, аналитическое определение компетентности кандидатов в члены РГ проводится на основе анализа их оценки другими членами РГ и самооценки профессиональных качеств каждого. Критерии отбора кандидатов в РГ: профессиональная компетентность в области системы образования (как на управленческом уровне, так и на уровне ОУ); креативность (умение решать творческие задачи); научная интуиция; объективность; заинтересованность в объективных результатах работы; независимость суждений; мотивированность действий; коммуникативность; нонконформизм. Обязателен опыт деятельности по оценке качества образования в целом и инновационной психолого-педагогической деятельности в частности.

Такой подход позволяет сделать качественный отбор членов РГ. Следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Сформированная РГ принимает участие в:

-проведении мониторинговых исследований оценки качества инновационной психолого-педагогической деятельности учреждений общего образования;

-обсуждении системы показателей, характеризующих состояние и динамику развития инновационной психолого-педагогической деятельности образовательного учреждения, муниципальной системы образования и системы общего образования региона;

38

-обеспечении научного, методического, организационно-технологического сопровождения оценки качества инновационной психолого-педагогической деятельности по стандартизированным процедурам, в том числе аттестации педагогических и руководящих кадров;

-осуществлении рейтинговой оценки инновационной психологопедагогической деятельности образовательных учреждений;

-анализе качества инновационной психолого-педагогической деятельности на муниципальном уровне, в том числе, в разрезе системы оценки качества инновационной психолого-педагогической деятельности в муниципальных учреждениях общего образования;

-сборе, обработке, хранении и представлении информации о состоянии и динамике развития инновационной психолого-педагогической деятельности;

-формировании информационных запросов основных пользователей системы оценки качества инновационной психолого-педагогической деятельности;

-обеспечении предоставление информации в соответствии с регламентами информационного обмена о качестве инновационной психолого-педагогической деятельности учреждений общего образования;

-определении способов организации информационных потоков для пользователей системы оценки качества инновационной психологопедагогической деятельности.

Таким образом, определяется функциональная характеристика РГ:

∙осуществляет координацию деятельности отделов по оценке качества инновационной психолого-педагогической деятельности; взаимодействие с региональными и окружными ресурсными центрами оценки качества инновационной психолого-педагогической деятельности;

∙определяет порядок проведения контрольно-оценочных процедур, мониторинговых исследований в общеобразовательных учреждениях; организует их и координирует проведение;

∙анализирует информацию о состоянии инновационной психологопедагогической деятельности, тенденции ее развития; формулирует предложения по принятию управленческих решений на ее основе;

∙готовит рекомендации по развитию инновационной психологопедагогической деятельности на муниципальном уровне;

∙обеспечивает гласность и коллегиальность принятия управленческих решений в области оценки качества инновационной психолого-педагогической деятельности.

Руководитель (организатор) рабочей группы осуществляет формирование экспертной группы (далее ЭГ). Экспертная группа, подчиняющаяся органу управления общим образованием субъекта РФ, обеспечивает экспертизу инновационной психолого-педагогической деятельности учреждений общего образования.

Для общего руководства экспертными работами назначается председатель экспертной комиссии. Подбор экспертной группы проводится аналогично подбору конкретных членов рабочей группы. В качестве экспертов могут привлекаться: специалисты в области педагогики, психологии, философии; культурологи; специалисты в других отраслях науки и техники, культуры и

39

искусства в соответствии с содержанием инновационной психологопедагогической деятельности; руководители образовательных учреждений и педагоги, осуществляющие практическую исследовательскую деятельность в области образования; представители методических служб, специалисты органов управления образованием района и города, органов местного самоуправления, средств массовой информации, социальные работники; независимые эксперты, имеющие соответствующие сертификаты.

Порядок работы ЭГ:

1.Число членов группы должно быть нечетным и составлять не менее 7

человек.

2.При одновременной экспертизе нескольких опытно-экспериментальных площадок разной тематической направленности в составе экспертной комиссии формируются экспертные подкомиссии в количестве не менее 5 человек каждая.

3.ЭГ вправе осуществлять свои полномочия, если на ее заседании присутствует не менее 1/2 от списочного состава всей группы.

4.Решения ЭГ принимаются простым большинством голосов членов экспертной комиссии, присутствующих на заседании.

5.Решения ЭГ оформляются протоколами, которые составляются в двух экземплярах и подписываются всеми членами экспертной комисси, принимавшими участие в заседании.

6.При равенстве голосов членов ЭГ решающим является голос председателя ЭГ, а при отсутствии председателя – его заместителя, председательствовавшего на заседании.

7.Утверждение итоговых результатов экспертизы осуществляется простым большинством голосов при условии присутствия на заседаниях не менее 2/3 от списочного состава ЭГ.

Экспертная группа осуществляет процедуры оценки соответствия критериев требованиям и определения возможности проведения экспертизы на основе принципов построения номенклатуры показателей качества инновационной психолого-педагогической деятельности, а именно: принципа соответствия ведущим целям российской системы образования, современным исследованиям в области психологии, педагогики, социологии, квалиметрии, теории надежности, теории качества, теорий математической статистики и др принципа детализации групповых показателей до единичных (элементарных) показателей, т.е. измеряемых; принятия за исходное положение то, что интегральное качество инновационной психолого-педагогической деятельности - это особое свойство объекта, описываемое иерархической структурой показателей.

По итогам экспертизы качества инновационной психолого-педагогической деятельности в учреждениях общего образования экспертная группа:

-оценивает достоверность данных, представленных учреждениями общего образования;

-запрашивает в случае необходимости дополнительные сведения у органов исполнительной власти, субъектов Российской Федерации;

-формирует рейтинг учреждений общего образования с указанием интегративного показателя;

40