Тема 8. Организационно-технологическое обеспечение процедур оценивания

43.Понятие о процедуре оценивания. Виды процедур оценивании.

Обеспечение качества процедуры оценивания — это планируемые и систематически осуществляемые виды деятельности, отвечающие основным принципам организации процедуры и необходимые для создания уверенности в том, что результаты процедуры будут соответствовать поставленным целям оценивания.

Качество образования – основная характеристика системы образования, которая определяет соответствие образовательных результатов обучающихся и контекстных условий получения образования ожиданиям как самих обучающихся, их родителей, так и общества в целом.

Тогда процедуры, предназначенные для оценки качества образования, должны обеспечить качественный сбор информации, необходимой для системы образования.

Таким образом, система оценивания эффективна[1], если наряду с такими важными компонентами, как надежный инструментарий, качественный анализ и представление результатов, вовлечение политиков, профессионального сообщества и поддержка всех заинтересованных сторон, реализована качественная процедура проведения оценивания.

Все процедуры оценки качества образования, по отношению к участникам оценивания, делятся на:

«Безответственные» – не влияющие на аттестацию и служащие для обеспечения «обратной связи» для управленцев в образовании (международные, национальные и региональные мониторинги);

«Ответственные»– влияющие на дальнейшую учебную или жизненную траекторию участника и служащая для аттестации, отбора (рейтингования) (государственные экзамены).

В первом случае «лукавая» система сбора информации приведет к получению недостоверныхданных, принятию неверных решений, а во втором случае, кроме указанных последствий, ещё и может негативно повлиять на судьбу конкретных участников. Первую группу процедур оценки качества образования можно условно считать процедурами с «низкими» ставками, вторую группу процедур – с «высокими» ставками.

К программам оценки с «высокими ставками» относятся процедуры государственных национальных экзаменов, ввиду их особой значимости для принятия и реализации жизненно важных решений по продолжению образования и затрагивания интересов миллионов граждан страны, прежде всего учеников и их родителей. К программам оценки с «низкими ставками» относятся процедуры крупномасштабного оценивания (мониторинговые и диагностические исследования), а так же внутриклассное оценивание.

Вышеперечисленное деление процедур оценки качества образования напрямую влияет на определение схемы организационно-технологического обеспечения проведения процедур оценки.

Процедуры, как государственных экзаменов, так и различных по целям и задачам мониторингов призваны предоставить некоторый продукт – информацию. Необходимы механизмы, позволяющие упорядочивать информационные потоки, собирать, структурировать, оформлять базы данных и управлять ими, обрабатывать информацию и предоставлять её в соответствии с требованиями пользователей. Кроме того, требуется выстроенная и четко регламентированная процедура сбора данных экзамена (или мониторинга). Совокупность различных процессов и операций с набором необходимых механизмов, а так же их описание в инструкциях и регламентах для пользователей и есть технология оценочных процедур.

Используемая технология должна[2]:

существенно сокращать время сбора информации.

Используемые механизмы сбора информации, по возможности, должны быть автоматизированы, адаптированы под территориальные особенности, должны соответствовать принципу «точно в срок» (англ. Метод «Just-in-Time»);

предоставлять равные возможности участникам оценки.

Процедура должна быть унифицирована, правила участия в ней должны быть одинаковы для всех участников, не зависимо от статуса образовательного учреждения испытуемых и их местонахождения;

должна быть понятна для исполнителей (организаторов) и испытуемых.

Действия всех участников процесса должны быть четко регламентированы, описаны в соответствующих правилах; участники процесса (как организаторы, так и испытуемые) должны быть заблаговременно проинформированы об этапах процедуры, о правилах её проведения;

должна быть отказоустойчива.

Устойчивость технологии должна быть проверена по количеству участников процедуры, по осознанию «ставок» процедуры и возможности влияния на неё, по технической надежности и стабильности в условиях непреднамеренных ошибочных действий исполнителей, по учету особенностей самой процедуры в соответствии с её целями и задачами, по учету территориальных особенностей (наличие труднодоступных территорий и др. аспекты), временных особенностей (часовые пояса).

В связи с общими требованиями к технологии процедур оценки качества образования, связанными с целями и задачами этих процедур, при формировании различных информационных потоков при реализации любой массовой оценочной процедуры отмечается определенная направленность на унификацию процедур и используемых механизмов по всем оцениваемым объектам.

Следует принимать во внимание, что, в случае, если результаты одной из процедур оценки качества образования планируется в дальнейшем интерпретировать в сопоставлении с результатами какой-либо другой процедуры, то это возможно только в случае применения надежных унифицированных процедур и калиброванных (проверенных, отобранных) измерителей.

При проектировании технологии и определения организационной схемы проведения процедуры оценки необходимо сначала обдумать ответы на ключевые вопросы, такие как:

Каковы цели и задачи проектируемой процедуры?

Что является конечным продуктом оценки и как его планируется использовать?

Какие могут быть издержки (трудовые, финансовые, социальные и др.) и насколько они оправданы эффектом от использования результатов оценки?

Какие структуры и элементы должны быть сформированы или имеются для обеспечения этих процедур?

Какие структуры несут ответственность за формирование и поддержку соответствующих целям процедуры процессов?

Какие меры информационной безопасности необходимо принять для обеспечения эффективности проведения процедуры оценивания?

Ответы на эти вопросы дадут возможность оценить имеющиеся возможности для реализации задач, а так же аргументировать выбор того или иного механизма в технологическом обеспечении процедуры. Под технологичностью можно понимать такую организацию всех необходимых работ, которая позволит провести большую часть процессов с помощь специальных технических средств, очень быстро, экономично и объективно, обеспечив испытуемым равные условия участия в процедуре оценивания.

По достоверности:

в нашей педагогической практике обычно используются “традиционные методы оценки”: наблюдение, беседа, изучение документации и продуктов деятельности, педагогический консилиум, экспертная оценка. Перечисленные методы, лежащие в основе “традиционного экзамена”, можно отнести к субъективным, т.к. они базируются на личных оценках одного или нескольких человек. Эти методы позволяют гибко подходить к оценке достижений ученика, его развития в ходе учебно-воспитательного процесса, учитывать влияние на них различных факторов, но оценка с помощью данных методов чревата именно субъективизмом.

При этом субъективные методы не всегда эффективны с точки .зрения затрат времени и ресурсов, так как зачастую для точного определения действительных знаний учащегося и его умений по их практическому применению большинству педагогов требуется немало душевных сил и много месяцев “проб и ошибок”.

Однако современной наукой разработаны и объективные методы оценки развития личности. Их главное достоинство - в обеспечении именно объективности оценки. Игнорирование этих методов, ограничение оценивания методами субъективными не дает достаточно достоверной картины состояния развития учащихся, так как результаты, получаемые в этом случае, основываются лишь на личных оценках педагогов, следовательно, неизбежно носят печать субъективности. Изменить такое положение может помочь правильное использование объективных методов оценки. Суть этих методов сводится к тому, что всем учащимся предлагаются схожие наборы заданий (тестируемые находятся в равных условиях), при этом задания научно обоснованы и апробированы в отношении их способности точно оценивать соответствующие параметры.

В случае, когда методики оценки (например, тесты) тщательно научно отработаны - до такой степени, что можно установить точность оценивания в процентах (эта точность должна быть, в зависимости от преследуемых задач оценивания, не менее 70-90 %), говорят об “ измерении” свойств психики.

1. Субъективные методы: наблюдение, экспертная оценка, беседа, анализ документации и продуктов деятельности (личных дел, медкарт, дневников, сочинений и т.п.), анкетирование. Их объективность несколько повышается при четкой, целенаправленной систематической работе, объективной фиксации информации в протоколе обследования.

2. Объективные методы (тесты в широком смысле).

В своем профессиональном значении, используемом специалистами, занимающимися разработкой методик оценки личности и человеческой деятельности, тест - это средство объективной и количественно точной оценки конкретных параметров (личности, человеческой деятельности и т.п.), состоящее из ряда компонентов.

Компонентами теста в таком его понимании являются:

1) инструкция по выполнению теста оцениваемым лицом;

2) стимульный материал - в широком смысле (вопросы, утверждения, задания, которые оцениваемому лицу предлагается выполнить);

3) “ключи” обработки результатов оценки (алгоритм подсчета результата по каждому параметру оценки в зависимости от определенных ответов или определенного выполнения заданий оцениваемым лицом);

4) схема интерпретации результатов оценки (алгоритм анализа обработанных результатов в соответствии с их социальной нормой, “весовым” коэффициентом каждого параметра, формированием необходимых практических выводов и рекомендаций);

5) норма оценки для каждого параметра (устанавливается с помощью специальных методов анализа соответствующих экспериментальных данных);

6)“весовой” коэффициент для каждого параметра (значимость параметра в оцениваемой деятельности в целом);

7) данные стандартизации (специальные – психометрические – характеристики качества теста, установленные по итогам проверки теста, основными из таких характеристик являются валидность и надежность).

Обобщая требования к эффективным методическим средствам объективной оценки образовательной деятельности целостного образовательного учреждения, в рамках настоящего исследования удалось определить следующие основные требования к методическому обеспечению внешней оценки качества деятельности УОО.

К основным принципам разработки и использования измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, целесообразно, по данным проведенного нами анализа соответствующих источников, отнести следующие принципы:

– необходимость учета общеупотребимых сегодня в науке характеристик качества “измерителей”, основные из которых называются “валидностью” и “надежностью”. Валидность “измерителя” – это его способность оценивать именно то свойство психики, для которого он используется. Надежность – это способность “измерителя” количественно точно оценивать соответствующее свойство;

– необходимость учета того, что каждый тест (или другой контрольный измерительный материал) проверяется на определенной группе людей (“выборке”), следовательно, ориентирован на ее “аналоги”.

– необходимость комплексного подхода к оценке результата “измерения”, поскольку данный результат – следствие взаимодействия среды (школы, семьи и других общественных институтов) с характером, знаниями, способностями, мотивациями и состоянием учащегося в данный конкретный момент.

К основным правилам, которые необходимо соблюдать при разработке и использовании измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, следует отнести следующие правила:

– для получения наиболее достоверных выводов по итогам оценки необходимо разумное дополнение информации, полученной с помощью объективных методов оценки, информацией, получаемой с помощью научно обоснованных субъективных методов оценки;

– только корректное, уважительное отношение к оцениваемому лицу гарантирует от превышения допустимой погрешности измерения.

Проведенный нами анализ в отношении решения вопросов процедуры оценки (“как оценивать”) с учетом рассмотренных требований к методическому обеспечению внешней оценки качества деятельности УОО показал, что в практике уже существуют апробированные средства оценки(методики, программное обеспечение и др.) и алгоритмы их применения, которые обеспечиваютдостаточно валидную и надежную оценку указанных в предыдущем разделе показателей качества деятельности учреждений общего образования, отражающих результативность обеспечения этой деятельностью личностного развития обучающихся.

Как один из примеров в этом отношении может быть приведен опыт нашего научного коллектива (руководитель – С.В. Климин): в первую очередь в данном отношении целесообразно использовать опыт коллектива по созданию технологий аттестационной и аккредитационной оценки, обеспечивающих всестороннюю и объективную оценку содержания и результатов обучения и воспитания в ОУ - с помощью одной из таких технологий ("КАС ДОУ - Аттестация (Новая версия)") в период с 1997 г. по 2010 г. обеспечена массовая аккредитация школ, гимназий и лицеев в более чем 30 субъектах РФ.

В связи с обсуждающимися сегодня возможностями использования КИМов ЕГЭ для проведения государственной аккредитации образовательных учреждений нами проведено сравнение возможностей полного обследования уровня обученности выпускников общеобразовательных учреждений при их государственной аккредитации либо с помощью тестовых заданий ЕГЭ и его данных в 100-балльной шкале, либо с помощью специализированных тестовых заданий (специально разработанных для аккредитационной экспертизы качества подготовки выпускников). Данное сравнение показало следующее.

Построение обследования общеобразовательных учреждений (далее – ОУ) при их аккредитации на основе тестовых заданий ЕГЭ возможно было бы только в случае четкого указания степени соответствия разных заданий КИМов ЕГЭ по каждому учебному предмету Обязательному минимуму содержания среднего (полного) общего образования, поскольку задачей государственной аккредитации ОУ является установление соответствия подготовки выпускников требованиям только госстандарта

Как показывают полученные в результате проведенного анализа выводы, содержание многихзаданий ЕГЭ в различной степени выходит за пределы Обязательного минимума содержания среднего (полного) общего образования. Это обусловлено различием задач ЕГЭ и аккредитации ОУ: в отличие от указанной выше задачи государственной аккредитации ОУ, основной задачей КИМов ЕГЭ является сравнение выпускников между собой по уровню их подготовки – вследствие направленности заданий ЕГЭ не только на итоговую аттестацию выпускников III ступени, но и на отбор для поступления в вузы. В связи с этим, а также в связи с направленностью КИМов ЕГЭ именно на индивидуальную оценку критерием качества заданий ЕГЭ является в том числе выровненность заданий каждой части теста (“А”, “В”, “С”) по статистической трудности (в отличие от этого, основным критерием качества заданий оценки целых образовательных учреждений является полное соответствие и ограничивание содержания этих заданий рамкамиОбязательного минимума содержания образования соответствующей ступени).

Поскольку перед разработчиками заданий ЕГЭ стоят задачи, принципиально отличающиеся от задач оценки при аккредитации ОУ, в отношении данных заданий проведенный анализ позволил получить следующие основные выводы, актуальные для вопроса изучения возможности использования этих заданий при проведении аккредитации:

1) указанные выше особенности КИМов ЕГЭ, проанализированные в аспекте задач государственной аккредитации ОУ, делают абсолютно необходимым сохранение такого инструмента аккредитационной экспертизы, как специальное тестирование ОУ с целью аккредитации ОУ;

2) вследствие же множественности таких особенностей, затрудняющих использование заданий ЕГЭ для полного обеспечения оценки уровня обученности при экспертизе качества подготовки выпускников с целью государственной аккредитации ОУ, целесообразна не столько переработка заданий ЕГЭ для целей аккредитации, сколько разработка заданий специально для аккредитационной экспертизы.

44.Определение схемы организационно-технологического обеспечения процедуры оценивания.

Система оценивания эффективна, если:

определены и реализованы компоненты:

Надежный инструментарий

Процедура проведения оценивания (администрирование= технологическое и организационное обеспечение)

Качественный анализ и представление результатов

Вовлечение политиков и профессионального сообщества, поддержка других заинтересованных сторон

Организационно-технологическое обеспечение и его место в системе оценки качества образования

Назначение технологии в системе ОКО - обеспечение качественного сбора информации, необходимой для системы образования в целях оценки качества образования

Общие задачи технологии процедур оценивания:

Упорядочивание информационных потоков

Сбор и структурирование информации

Создание баз данных и управление ими

Обработка информации и её оформление в соответствии с требованиями пользователей

Технология и её место в системе оценки качества образования

ИЗМЕРИТЕЛИ - СБОР КАЧЕСТВЕННОЙ ИНФОРМАЦИИ (что?)

ТЕХНОЛОГИЯ - КАЧЕСТВЕННЫЙ СБОР ИНФОРМАЦИИ (как?)

Ключевые требования к организационно-технологическим процессам:

Существенное сокращение времени сбора информации

Предоставление равных возможностей участникам оценочной процедуры

Информационная открытость и понятность для исполнителей

Отказоустойчивость

Обеспечение необходимой степени информационной безопасности и пресечение возможности фальсификации результатов

Особенности организационно-технологического сопровождения процедур оценивания

Т.о. базисный набор процессов для любой процедуры оценивания:

сбор базы данных участников,

описание порядка проведения процедуры,

подготовка измерительных материалов,

подготовка кадров,

обработка результатов оценки.

Надстройки к базисному набору представляют собой особые меры обеспечения информационной безопасности при построении всех базисных процессов, а так же меры для соблюдения установленных прав и обязанностей всех участников процесса оценивания.

45.Принципы организации процедур оценивания.

Принципы организации процедур оценки качества образования

В условиях независимой процедуры оценивания непосредственно объектами оценивания в той или иной мере становятся все субъекты образования: сами обучающиеся, педагоги, органы управления образованием. Одним из критериев успешности проведения процедуры тестирования является доверие, как к самой процедуре, так и к полученным результатам.

При организации процедур оценки качества образования необходимо опираться на некоторые основные принципы, реализация которых сможет обеспечить доверие к самой процедуре, а соответственно, к её результатам.

Любая процедура оценки должна быть: обоснованна, надежна, прозрачна, открыта.

Реализация принципа «обоснованности».

В зависимости от поставленных целей и задач, необходимо обосновать и аргументировать:

выборку испытуемых

все планируемые к использованию методы, механизмы обеспечения процессов;

сроки произведения всех работ;

форматы представления результатов;

уровень защиты всех процессов и аппаратно-технических средств;

структуру инструктивно-методической базы процедуры;

необходимость документирования основных процессов и этапов;

планируемые к использованию критерии и методики оценки.

Одним из примеров обоснования сложной, многогранной и разноуровневой технологии, используемой при проведения единого государственного экзамена в России служат некоторые количественные характеристики экзамена, проводимого на всей территории Российской Федерации[3]:

количество участников - около 800000 участников; количество экзаменов - более 2600000 экзаменов; количество ППЭ - более 7000 пунктов; количество регионов с труднодоступными и отдаленными территориями (на территории РФ) – 18 регионов; количество часовых зон (часовых поясов) - 9 часовых зон (с 2011 г.); количество привлекаемых к проведению ЕГЭ спец-ов в ППЭ – более 250000 чел.

Объединение двух целей (государственная итоговая аттестация выпускников 11 классов и вступительные испытания в высшие учебные заведения страны):

- разграничение полномочий федерального и регионального уровней, установленных Законом об Образовании РФ

- сроки проведения процедуры ЕГЭ и обработки его результатов (6 дней – обязательные экзамены, 3 дня – выборные)

- необходимость поддержки возможности апеллирования к результатам, процедуре.

Использование наиболее сложной структуры контрольных измерительных материалов по всем общеобразовательным предметам, включающих задания с множественным выбором, задания, предусматривающие краткий ответ и, ответы в свободной форме (часть С):

- необходимость осуществления проверки двумя способами (автоматизированной и ручной для части С) одновременно и др.

Очевидно, что набор механизмов технологии ЕГЭ, как экзамена с «высокими ставками», должен был служить реализации задач, как минимум, по созданию единых для всех участников экзамена условий.

При обосновании процедуры оценки «взвешиваются» все «за» и «против». Унификация процедур оценки – не значит полное копирование всех процессов и применение одной модели для всех процедур. Неуместным выглядит стремление провести процедуру с «низкими» ставками, применяя все те же приемы и механизмы, что и процедуру с «высокими» ставками.

Следует понимать, что в любой процедуре оценки качества образования есть базовые элементы, без которых процедура не может быть надежной и результатам которой будет трудно доверять. Но, чем выше «ставки» процедуры, тем больше дополнительных, но стандартизированных элементов, поддерживающих надежность её проведения, должно быть подключено.

Данный подход напоминает конструктор «Лего»: в доме обязательно должны быть стены, крыша, окна и двери – это минимум. Для дворцов и замков, кроме этих базовых элементов, берем и другие стандартные детали, но используем их только в том объеме, который требуется для реализации нашего замысла.

Таким минимальным (базисным) набором процессов для любой оценочной процедуры должны стать: сбор базы данных участников (после определения выборки участников), тиражирование измерительных материалов, обработки результатов оценки, подготовка кадров, определение порядка проведения процедуры. Но при проектировании процедур с «высокими» ставками появляются «надстройки» к базисному набору, обусловленные особенностями каждой отдельно взятой процедуры.

Например, в ЕГЭ поддержка возможности апеллирования к результатам и процедуре обеспечена соответствующими процессами и специализированным программным обеспечением, например, таких как:

техническая поддержка учета в бланках регистрации фактов выхода из аудитории, не завершения экзамена по разным причинам и др.;

организационная, техническая и нормативно-инструктивная поддержка права участника оформить бланк апелляции по процедуре и следующие за этим процедуры и операции;

техническая поддержка возможности ознакомления участника ЕГЭ с «маской ответов» (протоколом с индивидуальнымирезультатами и обозначением верных/неверных ответов на задания) и др.

Реализация принципа «надежности».

Процедура надежна, если она:

обеспечивает равные условия участия в ней всех без исключения участников процедуры;

отказоустойчива;

в достаточной степени защищена, в том числе и в части персональных данных участников;

гибка и превентивна.

При реализации данного принципа необходимо опираться на существующие в практике современных бизнес-процессов технологии управления рисками («Системный риск-менеджмент», «Safetymanagement», SWOT, FMEA и пр.) В специализированной литературе[4] подробно рассматриваются характеристики опасностей, проблемы риска технологий, причины отказов систем, а так же аспекты управления безопасностью.

Следует понимать, что любой технологический сбой, произошедший при проведении процедуры оценивания – это реализовавшийся риск.

Технологии управления рисками предусматривают некоторые шаги управления, которые включают в себя[5]:

проецирование ранее реализовавшихся в других проектах рисков – «профиль рисков»;

определение наиболее критичных для данной процедуры рисков («Firstthingsfirst»);

определение стратегии управления риском (действия, которые можем предпринять – стратегия хеджирования (страхования,риска);

планирование действий на случай реализовавшихся рисков (создание «подушки безопасности»);

интегрирование стратегии управления рисками в систему управления процедурой оценивания

Подход, основанный на использовании подобных технологий, уменьшает уровень неопределенности, сокращает издержки и системно повышает устойчивость и защищенность процедуры оценивания.

При рассмотрении процедур оценки образовательных достижений обучающихся в качестве системы, управляющей различными информационными и материальными потоками, и, которая должна обеспечивать целый ряд условий и учитывать большое количество внешних и внутренних факторов влияния, становится очевидным, что к решению ряда задач развития образовательной системы, страны, могут быть применимы правила и принципы из экономического менеджмента с использованием логистического подхода.

Логистика - теория и практика сквозного управления эффективным с точки зрения минимизации затрат сервисным потоком и связанной с ним информации от точки зарождения до точки потребления в целях полного удовлетворения потребностей пользователей.

Известны основные принципы («Логистическая миссия»), широко используемые в бизнес-логистике[6]. Это правила «семи Н», требующие обеспечения:

1) нужного продукта, 2) в нужном количестве, 3) нужного качества, 4) в нужном месте, 5) в нужное время, 6) для нужного потребителя, 7) с наименьшими затратами.

Построение конкретной технологической модели процедуры оценки рекомендуется производить, последовательно раскрывая указанные правила «Логистической миссии». При этом следует учитывать, что существует инвариант основных процессов, необходимых для реализации любой оценочной процедуры, независимо от «ставок» процедуры, и вариативность процессов, с учетом целей, задач, а так же «ставок» каждой конкретной процедуры.

Реализация принципов «прозрачности» и «открытости».

Часто, особенно при проведении процедур с «низкими» ставками, пренебрегают обеспечением реализации этих принципов. В результате – цели размыты и не понятны участникам процесса, рождаются слухи и домыслы, которые провоцируют лишние и крайне неполезные действия, а, иногда, умышленную фальсификацию. Конечный результат – впустую затраченные усилия, необъективные измерения, неправильные выводы. Особенно критично это становится при проведении процедур с «высокими» ставками, где добавляется ещё и самый значимый эффект – социальный, смешивающийся с «личными потребностями».

Для реализации принципа «прозрачности» необходимо:

установление четких и простых правил участия в процедуре оценивания;

подтверждение легальности и легитимности с точки зрения доверия и законодательства;

заблаговременное установление порядка взаимодействия структур внутри системы ОКО и закрепление за ними определенных функций;

публичные отчеты о проведении.

Для обеспечения «открытости» процедуры оценивания необходимо обеспечить доступ к информации о:

процедуре (сроков проведения, правил участия и др.);

о специфике контрольных измерительных материалов (демо-версии);

о планируемых вариантах использования результатов.

Для этих целей используются возможности как Интернет-ресурсов, так и СМИ. Должна быть разработана программа по информированию всех групп потребителей: профессионального сообщества, включая все структуры системы образования, родителей, выпускников (испытуемых).

При реализации принципа «открытости» следует понимать, что открытой не может быть информация, противоречащая условиям информационной безопасности.

Под информационной безопасностью при проведении процедуры оценивания понимается принятие соответствующих мер, пресекающих несанкционированное вмешательство в процедуру и попыток умышленного искажения данных, направленных на изменение результатов оценки.

Это касается контрольных измерительных материалов, по которым планируется проведение процедуры оценивания, а также персональных данных участников процедур оценивания (в РФ - в соответствии с требованиями Федерального Закона «О персональных данных» № 152 от 2006 г. и дополняющего его ФЗ № 261 от 2011 г.).

При планировании информирования об итогах проведения процедуры оценки следует четко разграничить группы пользователей различных информационных продуктов.

Таким образом, перед учреждением или органом управления образования, планирующим проведение процедуры оценивания, стоят задачи по планомерной реализации всех вышеуказанных принципов. Конечно, реализация каждого из них – это процесс длительный и многоаспектный. Но, как уже отмечалось в начале данной статьи, роль технологии и заключается именно в том, чтобы обеспечить качественный сбор информации.

Очевидно, что между понятиями «качество» и «эффективность» существует прямая зависимость. Обеспечение качества процедуры оценивания — это планируемые и систематически осуществляемые виды деятельности, отвечающие основным принципам организации процедуры и необходимые для создания уверенности в том, что результаты процедуры будут соответствовать поставленным целям оценивания.

46.Подходы к организации массовых процедур оценивания.

Подходы к организации массовых процедур оценивания (экзамены, мониторинги).

Процедуры оценки в соответствии с целями и задачами делятся на:

«Ответственные» по отношению к участникам (аттестация, отбор, рейтингование) – процедуры с «высокими ставками» - экзамены

«Безответственные» по отношению к участникам («обратная связь» для выбора стратегии развития образования) – различные мониторинговые исследования

Данное деление напрямую влияет на определение схемы организационно-технологического обеспечения процедуры оценки.

4. Документирование и проектирование процедур оценивания.

5. Проблемы в организации процедур оценивания в современных образовательных учреждениях и пути их преодоления.

экзамены: цель, задачи. Выбор тактики. проведение. обработка. Анализ. инд. результатов

мониторинги: проблема. Цель, задачи. Выбор тактики. Проведение. Отработка. Анализ. Рекомендации.

Организация массовых процедур ОКО

Разное: цели, «ставки», массовость, меры информационной безопасности

Национальные экзамены

Сертификация/рейтингование

«Высокие ставки» для участников

Генеральная совокупность выпускников/абитуриентов

Жесткие меры информационной безопасности от подготовки ЭМ до выдачи результатов

Национальные/региональные мониторинги

Обратная связь от системы образования

«Низкие ставки» для участников

Выборка может быть разной: от генеральной совокупности до репрезентативной выборки

Меры информационной безопасности мягкие или не используются

Национальные экзамены / Национальные/региональные мониторинги

Общее:

Единые правила участия и проведения

Регламентация процессов (от организации процедуры проведения до обработки результатов)

Прозрачность и понятность целей и технологии исполнителям и участникам всех уровней

Ответственность участников процесса за качество предоставляемой/получаемой информации

Технологии массовых оценочных процедур контроля.

Как только речь заходит о технологиях организации массовых процедур оценивания возникает значительное количество технологических и технических нюансов. Под массовыми процедурами здесь понимается проводимая по единым измерителям и правилам их применения процедура оценивания с общим количеством участников от 30-50 человек. Под это определение попадают региональные мониторинговые исследования, внутришкольный мониторинг, оценивание в рамках процедур контроля качества, часть процедуры аккредитации школ, внутриклассный рубежный контроль, испытания на соответствие занимаемой должности педагогически работников и пр. Существуют серьезные технологические отличия организации различного рода процедур оценивания. Например, технологии бланочного тестирования, используемые для итоговой аттестации школьников, малоприемлемы для организации внутришкольного контроля. Также неэффективным представляется использование стандартных типов бланочного тестирования для изучения уровня обученности младших школьников, из-за их неготовности многократно переключать внимание с бланка задания на бланк ответов и т.д. За последние несколько лет нами внедрен широкий спектр технологий проведения оценочных мероприятий, программных продуктов для автоматизации обработки их результатов, как собственной разработки, так и сторонних производителей.

Это программные продукты и аппаратные средства:

автоматизации внутришкольного контроля информационная система (ИС) «Портфолио»;

автоматизации подготовки обработки результатов массовых оценочных мероприятий – автоматизированная информационная система (АИС) «Экзамен», ИС «Репетитор», ИС «Мониторинг»;

автоматизации проведения квалификационных испытаний педагогических кадров «Probetest.аттестация»;

сравнительного анализа данных различных оценочных мероприятий АИС «Аналитика»;

автоматизации ввода результатов различных оценочных мероприятий без использования методов бланочного и компьютерного тестирования аппаратные средства контроля «Символ-тест» и многие другие.

Сегодня с уверенностью можно утверждать, что имеющиеся в нашем распоряжении программные продукты и аппаратные средства контроля позволяют перекрыть весь спектр запросов различных групп пользователей на автоматизацию проведения любых оценочных мероприятий - от единичных до массовых.

Принципиальным отличием нашего подхода к автоматизации этих процессов является не просто ввод и проверка ответов испытуемых, а получение детальной картины их уровня обученности. Для этого, каждое тестовое задание имеет привязку к элементам кодификаторов содержания и требований каждой отдельной дисциплины (предмета). Результатом каждого оценочного мероприятия является процент выполнения заданий по каждому элементу кодификатора (содержания, требований). Дополнительно, в качестве характеристики испытуемого, мы получаем логит его уровня подготовленности. В совокупности это позволяет выявить проблемные зоны (темы, умения), над которыми необходимо детально и конкретно работать.

Понимая, что организация такого рода оценочных мероприятий, обработка их результатов в конечном итоге (если не считать дорогостоящие процедуры «с высокими ставками») ляжет на школу, т.е. на завуча, учителя – главной своей задачей в этом направлении мы видим разработку технологий проведения, методов сбора и хранения информации для внутришкольного мониторинга. В области технологий педагогических измерений наш центр и вся область одна из безусловных лидеров в стране.

ИС «Портфолио» внедрена более чем в 100 образовательных учреждениях области. Только в 2010-2011 учебном году через оценочные мероприятия с ее использованием прошло более 19 000 человек, в октябре 2011 года – более 13 000 человек. ИС «Мониторинг» используется в трех Субъектах Федерации, и только за 2011 календарный год с ее использованием обработаны результаты более 300 000 тестов. К сожалению, до сих пор основным предметом нашей деятельности является оценка уровня обученности.

47.Документирование и проектирование процедур оценивания. Документирование системы качества

В соответствии с п.5.3 стандарта ИСО 9004-1 " Управление качеством и элементы системы качества - часть 1: Руководящие указания" "Все элементы, требования и положения, принятые организацией для своей системы качества, должны быть документированы в форме политики и процедур и должны быть систематизированы, упорядочены и доступны для понимания.

Доказать соответствие системы качества установленным требованиям можно тогда, когда система представлена в документированном виде. Документированная система должна разрабатываться так, чтобы быть прослеживаемой и понятной как для проверяющих ее, так и для пользователей. При этом объем документации ограничивается областью практического применения.

Соответствующая документация необходима для выполнения таких важных задач, как:

достижение требуемого качества;

оценивание систем качества;

улучшение качества;

поддержание улучшений.

При проверке систем качества документальное оформление методик является объективным доказательством того, что процесс* был определен, методики одобрены и находятся под управлением.

По внедренным, развернутым и документально оформленным методикам, можно с уверенностью установить насколько правильно производятся операции, и измерить текущие рабочие характеристики. Кроме того, документированные процедуры, применяемые в соответствии со стандартом, необходимы для поддержания выгод от деятельности по улучшению качества [ст. ИСО 9000-1].

Под документированием системы качества понимается деятельность по установлению структуры и состава документации и управлению ею [1].

Таким образом, документирование включает разработку документации и управление документацией в ходе функционирования системы качества.

Цель документирования системы качества заключается в создании организационно-методической и нормативной основы для построения и функционирования СК, соответствующей рекомендациям и требованиям стандартов ИСО серии 9000.

Основными задачами документирования являются:

установление и нормирование требований к выполнению работ в системе качества;

обеспечение воспроизводимости процессов административного управления качеством;

регулярная регистрация фактических данных о качестве продукции и состоянии системы качества в ходе ее функционирования и совершенствования;

обеспечение идентификации и прослеживаемости продукции и измерительного оборудования;

закрепление лучших традиций и накопленного опыта по организации и проведению работ в системе качества;

разрешение и предупреждение спорных вопросов в процессе деятельности в системе качества; обеспечение проверяемости и оценки качества продукции и системы качества.

Документация системы качества - это комплект документов, необходимых для надлежащего функционирования системы качества и обеспечения качества продукции.

Документ системы качества - это любой материальный носитель информации с реквизитами, позволяющий идентифицировать данную информацию.

Документ создает механизм действия на всех уровнях управления.

Исходя из цели и задач документирования, создаваемая на предприятии документация системы качества, должна отвечать целому ряду строгих требований. Документация должна быть:

Системной, т. е. определенным образом структурированной, с четкими внутренними связями между элементами системы качества. Она должна давать представление как о системе качества в целом, так и о каждом отдельном ее элементе. Документация является в полной мере системной, если отсутствие хотя бы одного ее документа, приводит к сбою функционирования системы качества. Системность документации выражается в том, что она выступает неотъемлемой частью документации общей системы управления предприятием.

Комплексной, т. е. охватывать все аспекты деятельности в системе качества (организационные, экономические, технические, правовые, социально-психологические, методические).

Полной, т.е. содержать исчерпывающую информацию обо всех процессах и процедурах, выполняемых в системе качества, а также о способах регистрации данных о качестве. При этом, как уже упоминалось выше объем документации должен быть минимальным, но достаточным для практического применения. Опасно включать в документацию ненужные с позиции конечного результата документы. В противном случае это приведет к нерациональному использованию труда, усложнению процессов обеспечения качества и дискредитирует тем самым идею решения проблемы качества на основе стандартов семейства ИСО 9000.

Адекватной рекомендациям и требованиям стандартов ИСО 9000. Каждый документ системы качества должен содержать положения, соответствующие конкретным рекомендациям или требованиям определенного стандарта ИСО. С этой целью целесообразно во вводной части каждого документа системы давать точную ссылку на конкретный раздел или пункт стандарта, в соответствии с которым разработан данный документ.

Реально выполнимой, т. е. должна содержать только практически выполнимые требования. Нельзя устанавливать нереальные положения. Иное дело, когда речь идет о требованиях, которые могу быть реализованы после выполнения определенных плановых мероприятий при внедрении документа.

Идентифицируема, т.е. каждый документ системы должен иметь соответствующее наименование, условное обозначение и код, позволяющий определить его принадлежность к определенной части системы.

Адресной, т.е. каждый документ системы качества должен быть предназначен для определенной области применения и адресован конкретным исполнителям.

Актуализированной. В документации систем качества и отдельных ее элементах своевременно должны отражаться изменения, в соответствии со стандартами ИСО 9000, а также изменениями условий обеспечения качества на предприятии.

Простой для понимания всем ее пользователям (руководителям, специалистам, исполнителями аудиторам). Документ должен излагаться простым и ясным языком. Текст должен быть кратким, точным, не допускающим различных толкований, логически последовательным. Текст может иллюстрироваться схемами, диаграммами, таблицами. Положения документа не должны противоречить друг другу и положениям других документов.

Санкционированной, т.е. каждый документ системы и документация в целом должны утверждаться или подписываться полномочными должностными лицами [3].

Несоблюдение одного из этих требований делает документацию системы качества неполноценной и уменьшает ее эффективность [1].

Важным вопросом при документировании системы качества является определение структуры и состава документации. Обычно структуру системы качества представляют в виде пирамиды документации рис. 5.10.

Порядок разработки зависит на различных предприятиях (организациях) от условий этой организации. Обычно он начинается с разработки политики и целей организации в области качества.

К уровню А относится "Руководство по качеству" для всего предприятия. Оно содержит сформулированную Политику предприятия в области качества, цели по качеству и утвержденную организационную структуру производства.

К уровню В относятся общеорганизационные и процедурные документы, регламентирующие деятельность в элементах системы качества. Документы данного уровня устанавливают распределения ответственности и полномочий в области качества и информационные потоки в системе качества. Т. е. эти документы не содержат технические требования, они носят организационный характер.

К уровню С относятся рабочие процедуры и инструкции, подробно описывающие порядок и методы выполнения отдельных работ в системе качества.

Уровень утверждения документа определяется в зависимости от его сферы действия (см. рис. 5.10).

Всю документацию системы качества по ее назначению делят на две группы:

документация, предназначенная для построения и функционирования системы качества, обеспечивающая понимание протекающих в ней процессов. Основными документами первой группы являются Руководство по качеству, стандарт предприятия, процедура качества, методика качества, инструкция по качеству и план качества;

документация, предназначенная для подтверждения соответствию установленным требованиям по качеству, а также для проверки эффективности самой системы, т.е. данные о качестве.

ПРОЕКТИРОВАНИЕ

Проектная организация должна разработать и поддерживать в рабочем состоянии методические документы по управлению проектированием и его проверки с целью обеспечения выполнения установленных требований при формировании планового уровня качества объектов проектирования.

Соблюдение этих документов гарантирует, что все основные производственные процессы разработки и изготовления проектной документации выполняются своевременно, организационно-техническое взаимодействие подразделений осуществляется в соответствии с установленным порядком, а создаваемая продукция подвергается необходимому контролю и анализу.

В документации по управлению проектированием должен быть установлен порядок:

- планирования выполняемых работ;

- организационно-технического взаимодействия между подразделениями и участниками проектирования;

- анализа входных и выходных проектных данных;

- анализа и проверки проекта;

- утверждения проекта и внесения в него изменений.

Специфика применения стандарта ИСО 9001 к проектной организации заключается в том, что проектирование для нее является главным видом деятельности и управление проектированием - это управление основными производственными процессами, описание которых предусмотрено в элементе 4.9 стандарта (Управление процессами), а проверка проектной продукции в элементе 4.10 (Контроль и испытания). Поэтому документация Системы качества, разрабатываемая по этим элементам (4.4, 4.9, 4.10) должна быть взаимоувязана.

Элемент 4.5. Управление документацией

Проектная организация должна разработать процедуру управления всей документацией, относящейся к разработанной Системе качества. К этой документации относится собственно документы Системы качества, а также организационно-распорядительная и нормативная документация.

Целью управления документацией является обеспечение ее комплектности, актуальности, применимости и доступности. Действующая документация должна быть вовремя представлена, рассмотрена и принята уполномоченным персоналом.

Необходимо обеспечить, чтобы утвержденные документы были доступны на всех участках и в подразделениях, где они нужны, а устаревшая документация своевременно изымалась из всех пунктов ее рассылки и применения. Процедура управления документацией включает:

- порядок разработки документов, их принятие и утверждение;

- рассылку документов и регистрацию их пользователей;

- проверку годности и актуальности документов;

- идентификацию документов;

- порядок учета и хранения документов;

- порядок внесения изменений и пересмотра документов;

- своевременную отмену и изъятие устаревших документов.

(документированные процедуры СМК-ДП-ОД-09/01.07. «Проектирование и разработка образовательных программ»; СМК-ДП-ОД 09/02.07. «Организация учебного процесса»). Процессы государственной оценки конечных результатов обучения реализуются в университете на этапе работ Государственных Аттестационных Комиссий и регламентируются в документированной процедуре СМК-ДП-ОД-09/03.07. «Реализация учебного процесса». Анализ удовлетворенности при реализации программ дополнительного профессионального образования, дополнительных образовательных программ для студентов и абитуриентов вуза осуществляется в рамках процедур: СМК-ДП-ОД-12/01.07. «Довузовская подготовка»; СМК-ДП-ОД-12/02.07. «Проектирование и реализация программ дополнительного образования для студентов»; СМК-ДП-ОД 12/03.07. «Проектирование и реализация программ дополнительного профессионального образования».

48.Пути преодоления проблем в организации процедур оценивания в оу.

Что мешает эффективному проведению процедур оценивания?

Использование одной оценочной процедуры для решения многих задач

Сенека: «Когда человек не знает, к какой пристани он держит путь, для него ни один ветер не будет попутным».

Последствия: использование необоснованного набора средств, механизмов, приёмов, способов, неэффективное использование кадровых ресурсов, размывание ответственности, нарушения по незнанию, по халатности

2) Некорректная интерпретация результатов процедуры

- искусственное повышение ставок процедуры

«наказание невиновных, награждение непричастных»

Последствия: нарушения по умыслу

Что мешает эффективному проведению мониторинговых исследований?

3) Частое отсутствие внятной информации о целях и порядке проведения процедуры оценивания.

Последствия: рождение домыслов и вымыслов, размытая ответственность, нарушения по незнанию.

4 ) Неполучение обратной связи от процедуры оценивания учителем, образовательным учреждением на фоне значительного , порой необоснованного увеличения нагрузки.

Последствия: непринятие и непонимание полезности оценивания, раздражение, усталость.

Примеры: достоверное информирование?

Согласно Положению Рособрнадзора, институт общественных наблюдателей создан для того, чтобы общество могло проконтролировать ход сдачи российскими школьниками ЕГЭ. В полномочия общественных наблюдателей входит обеспечение порядка в аудитории, принятие превентивных

мер по недопущению использования школьниками внешних

источников информации, а также распространение информации

посредством прессы о фактах нарушения соответствующих

регламентов. Те, кто желает стать общественными наблюдателями, должны подать заявление в муниципальный орган управления образованием.

Примеры: Непонятно, значит неприемлемо!

ПроШколу.ру:

http://www.proshkolu.ru/user/igorolin/blog/383366/

Из обсуждения:

«Пыталась заполнить бланк отчёта о результатах проведения очередного мониторинга...Сил нет! По каждому из 10 заданий ещё 4-7 подразделов в этом отчёте! Всё бросила - ухожу из школы! Кому это надо?»

«А откуда, вы думаете, русские народные сказки, где мачехи дают падчерицам всё более сложные и сложные задания?.. Справитесь, а там...дорожную карту томов в пятнадцать заставят делать. Лучше бы дали возможность просто учить…»

«…Урок, где учитель бережет каждую минутку и старается наполнить содержанием, отработать навыки и т.д., отдается запросто на различные диагностики, которым нет конца! Это недоверие к учителю?»

Самые передовые технологии, меры защиты информационной безопасности, скрупулезная организация всех процессов не обеспечат эффективность проведения процедуры оценивания, если отсутствуют:

Политическая поддержка процедуры оценивания

Понимание целей и задач всеми уровнями образования

Заинтересованность в объективности результатов, понимание полезности процедуры

Информационное сопровождение процедуры, открытая общественная дискуссия

Опыт РФ и других стран доказывает прямое влияние указанных факторов на процедуры оценивания.