3.5. Внутришкольные системы контроля

Сегодня простое утверждение образовательного учрежде­ния о соответствии качества обучения требованиям образовательного стандарта уже не воспринимается общественностью (потребителями) как гарантия получения качественного обра­зования. В то же время требования высокого качества образо­вания со стороны потребителей предъявляются не только на заключительной стадии обучения, но и на все более ранних.

На школьном уровне, определяющем подструктуру региональной системы оценки качества обучения, внутришкольные системы выполняют традиционную совокупность функций: диагностическую, оценочную, обучающую, корректирующую, мотивационную, развивающую и прогностическую.

Основными целями школьной контрольно-оценочной системы в условиях подготовки выпускников к независимой аттестации являются:

• обеспечение объективной информации об уровне и качестве индивидуальных учебных достижений учащихся и среднестатистических достижений образовательных учреждений в целях коррекции учебного процесса и учебной активности выпускников;

• индивидуализация учебного процесса на основе результатов контроля, обеспечивающая условия для практической реализации личностно-ориентированной, развивающей и других технологий обучения;

• получение объективной информации об уровне и качестве подготовки обучающихся для выставления итоговых оценок при переходе на следующую ступень обучения с помощью новых форм, методов и средств контроля;

• обеспечение условий для самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

• методическая поддержка учащихся и преподавателей при подготовке к сдаче ЕГЭ и аттестации;

• проведение внутришкольного мониторинга учебных достижений по основным дисциплинам;

• определение потребности в повышении квалификации преподавателей, качества преподавания и обучения.

Общий замысел школьной контрольно-оценочной системы состоит в создании совокупности методик, процедур, измерителей, программно-педагогических средств контроля и оценки образовательных достижений учащихся, стыкующихся между собой и охватывающих все ступени школьного образования. В отличие от традиционных, доминирующих в школе контрольно-оценочных процедур, современная система должна представлять совокупность научно обоснованных методик, процедур, критериев оценивания, измерителей, компьютерных программно-инструментальных средств, содействующих решению приоритетных задач модернизации школьного образования.

В условиях развития государственной системы независимой аттестации выпускников и отбора абитуриентов у различных категорий пользователей такой образовательной информацией (учащихся, учителей, родителей, администрации общеобразовательных учреждений, органов управления образованием, вузов и др.) появляется потребность в установлении степени соответствия подготовленности обучающихся требованиям образовательных стандартов или статистическим нормам на разных стадиях обучения.

3.6. Квалиметрический подход к оцениванию учебных достижений

В связи с темой управления качеством образования в целях его повышения требуются модификация традиционного академического контроля, систематическая организация контроля внешнего, определение содержания и форм контроля для получения всесторонней, надежной количественной и качественной информации о состоянии предоставляемого и получаемого образования, создание условий для индивидуализации и практической реализации идей личностно-ориентированного и дифференцированного по срокам обучения подхода.

Объективный контроль помогает одновременно и учаще­муся, и учителю: способствует развитию самостоятельности учащихся, повышает их ответственность за свою учебную деятельность, предоставляет учителю информацию о степени усвоения учебного материала и позволяет выбирать формы повышения квалификации, решать кадровые вопросы, проблемы методического обеспечения учебного процесса и др.

Чтобы перейти на новые технологии управления качеством образования, необходимо обеспечить открытость системы образования в сфере оценки результатов ее деятельности. С одной стороны, для повышения достоверности оценивания результатов учебной деятельности обучающихся требуется сбалансированное сочетание различных видов контроля, с другой — необходим внешний контроль с использованием средств и методов педагогических измерений, информационных технологий и программно-инструментальных средств обработки его результатов и квалиметрических подходов к оценке учебных достижений [31].

Построение эффективной системы управления качеством образовательного процесса требует решения как минимум трех задач: формирования эталона качества (стандартизация); сравнения достигнутого уровня подготовки с эталоном и оценки достигнутого уровня качества; выработки управляющих воздействий на условия и факторы, определяющие качество, с целью минимизации обнаруженных отклонений.

За последние годы в подходах к проблеме контроля и оце­нивания подготовленности обучающихся произошли огромные изменения, обусловившие развитие материалов и техно­логий тестового контроля. В настоящее время в России, как и во всем мире, интенсивно используются новые методы контроля качества образования. Все больше учреждений среднего, специального и высшего профессионального образования при­меняют педагогические тесты, инструментальные методы и операционализированные процедуры оценки знаний.

В отличие от контрольно-оценочных процедур, представ­ляющих собой эклектическое соединение методов и средств различных видов традиционного контроля с субъективными критериями оценивания, современная система тестового контроля содержит совокупность научно обоснованных показателей и критериев оценивания учебных достижений. Тестовый контроль рассматривается как система контрольных измерительных материалов, стандартизированных процедур тестирования, технологий проверки и оценивания результатов учебной деятельности субъектов образовательного процесса.

При тестовом контроле логика квалиметрического подхода к оценке задается на основе использования математических моделей конструирования педагогических измерителей с опорой на методологию IRT (Item Response Theory) и методы ста­тистической обработки результатов [55, 81, 82, 88, 90]. Тест рассматривается как измерительное средство, представляющее собой стандартизированную систему калиброванных (извест­ной трудности) тестовых заданий специфической формы, по­зволяющее надежно и объективно оценить уровень учебных достижений испытуемых и количественно выразить результат в баллах на единой шкале оценок учебных достижений обучающихся и уровней трудности использованных тестовых заданий.

Процессу такого тестирования, как правило, предшеству­ют апробация педагогических измерителей и разработка соответствующих им шкал. Тесты, дополненные инструкциями по их выполнению, стандартизированными бланками ответов, процедурами тестирования, технологиями обработки резуль­татов, методами шкалирования и оценивания в отечественной образовательной практике, получили название контрольных измерительных материалов.

Как правило, используются два методологических подхода к интерпретации результатов: нормативно-ориентированный и критериально-ориентированный. Они и определяют методы создания педагогических тестов и особенности их использования. При нормативно-ориентированном подходе используются тесты для сравнения испытуемых по уровню учебных достижений, при критериально-ориентированном — тесты для сопоставления учебных достижений каждого обучаемого с планируемым уровнем усвоения знаний, приобретения умений и развития навыков.

Каждый из этих подходов имеет свою сферу применения, свои преимущества и недостатки. Оба неразрывно связаны между собой и регламентируются единой совокупностью принципов, предполагающих системный подход к решению задач педагогических измерений.

Решению многих задач контроля способствуют технологии стандартизированного тестирования бланочного и компьютер­ного. Их особенностью являются формирование интегральных показателей и возможность сравнения результатов с оценками более высоких уровней обобщения, что позволяет педагогам идентифицировать образовательные программы и образова­тельный процесс, определять направления их совершенство­вания. Являясь необходимым условием сохранения единого образовательного пространства, стандартизированное массовое тестирование повышает познавательную активность, формиру­ет навыки креативных решений, способствует переводу знаниевого компонента образования в пространство гуманистичес­кой педагогики [29].

Массовое тестирование, как правило, проводится специ­альными контрольно-оценочными службами, имеющими со­ответствующий опыт, информационно-технологическое обес­печение и подготовленных для ведения контрольно-оценоч­ной деятельности специалистов. После получения первичных результатов (выраженных числом выполненных тестовых за­даний) важными составляющими тестового контроля являются математико-статистическая обработка и последующее преоб­разование первичных результатов. Тем самым расширяются возможности их анализа и интерпретации, систематизируют­ся окончательные данные и представляются в виде матриц, таблиц и графиков. Затем осуществляются содержательная ин­терпретация результатов педагогических измерений и каче­ственное описание характеристик исследуемых объектов.

Изменение формы контроля и переход от традиционной письменной или устной проверки к стандартизированному тестированию внешними службами, не связанными с обучени­ем, обеспечивает:

• ориентацию на требования стандартов и стандартизированных педагогических измерителей;

• использование заданий с разным типом предъявления ответов: выбором ответа из числа предложенных, кратким ответом, развернутым ответом в свободной форме и др.;

• усиление внимания к формированию комплексных умений и проявлению компетенций при внешнем контроле;

• учет динамики индивидуальных достижений учащихся;

• дифференциацию результатов, определение личностного рейтинга и создание условий конкурентности и состязательности, выявление конкурсной способности и прогностичности обучения на более высокой ступени.

Квалиметрический подход, базирующийся на положениях теории педагогических измерений и математической статисти­ки, обеспечивает строгость, четкость и упорядоченность дан­ных о предметно-содержательной подготовленности обучаю­щихся, качестве образовательного процесса и образовательных систем, позволяет осуществлять прогнозирование их развития на единой основе (для всех испытуемых контроль в одно вре­мя, по одним и тем же КИМ, с одним и тем же подходом к шкалированию и оцениванию).

Результаты такого контроля дают оценку учебной деятель­ности не только обучающегося, но и учителя, а также в целом образовательному процессу. А следовательно, требуют другой организации учебного процесса, при которой и учитель, и ученик одновременно проходят процедуру внешнего оценивания. Возникает иная система требований к обучению:

• разделение требований к преподаванию и учебной деятельности ученика;

• самостоятельность решения превышать или не превышать требования образовательных стандартов для каждого учителя и каждого ученика;

• установление единых показателей, критериев и требований к уровням подготовленности обучающихся;

• использование дихотомической оценки выполнения заданий (1 — выполнено, 0 — не выполнено) и получение результата в виде первичных баллов (число выполненных заданий);

• учет уровня трудности выполненных заданий и использование современных методов шкалирования и оценивания результатов для фиксации превышения базовых требований.

В алгоритме деятельности образовательных учреждений необходимым становится использование материалов и технологии современного тестирования как для контроля, так и для обучения, что позволяет:

• снизить уровень психологического напряжения;

• сравнить эффективность традиционных и экспериментальных методов обучения, различных учебников, спецкурсов, образовательных технологий;

• получить детальный и всесторонний анализ результатов по любым учебным дисциплинам и выборкам тестируемых с минимальными затратами сил и времени, информацию о затруднениях в работе класса и отдельных учеников;

• проверить квалиметрические подходы преподавателей к оцениванию знаний и выработать более объективные критерии оценки как знаний учащихся, так и результатов собственной деятельности;

• корректировать учебную работу и выстраивать индивидуальную образовательную траекторию для каждого ученика;

• повысить мотивацию обучения для достижения более высоких результатов;

• исключить условия возникновения конфликтных ситуаций, характерных для традиционных опросов и экзаменов.

В последнее время среди принятых в зарубежной практике образования подходов наиболее перспективным считается динамический метод оценки качества учебных достижений обучающихся. Он строится на систематическом выявлении изменений в подготовке обучающихся, накоплении их за определенный период и систематизации в виде портфеля данных (портфолио) [42].

Система динамической оценки учебных достижений обеспечивает получение информации:

• текущей образовательной, необходимой учителю для планирования учебного процесса;

• итоговой об образовательных достижениях учащихся на определенных этапах обучения;

• о достижениях класса и школы (необходимой для оценки деятельности учителей и школы);

• об образовательных достижениях детей — для родителей;

• необходимой педагогам для их профессионального роста.

Современные подходы к созданию эффективной системы оценки результатов обучения изменяют роль и значение контроля в образовании. Контроль все более становится не только средством выявления уровня освоения содержания учебных дисциплин, но и обучающей технологией, особенно при подготовке школьников к ЕГЭ [23, 27, 28].

При внешнем тестовом контроле каждый испытуемый получает дихотомический ряд, обозначающий выполненные и невыполненные задания теста по широкому спектру вопросов, что задает единый уровень требований для всех обучающихся и педагогов. Каждый субъект образования, анализируя свои достижения и ошибки и исходя из индивидуальных ценностно-смысловых установок, самостоятельно может определять для себя пути, способы и интенсивность самоподготовки. В этом случае педагог выступает консультантом и помощником в подготовке к аттестации, соучастником в прохождении внешнего тестирования. Тестирование создает условия для сотрудничества и более гибкого обучения, отвечающего интересам каждой личности.

Тестирование выступает и как психосберегающая технология, снимая тревожность при непосредственном общении с педагогом во время контроля, стимулирует стремление обучающихся к получению более высоких результатов, настраивает их на самооценку и самоподготовку. Введение новой контрольно-оценочной системы в общем образовании обуславливает изменение механизма взаимодействия и взаимосвязи субъектов образовательного процесса, переводя их на принци­пы сотрудничества. Именно технологии сотрудничества в обу­чении и контроле в значительной степени обеспечивают условия для совершенствования всего учебного процесса.

Практика показывает, что сочетание традиционного и те­стового контроля в оптимальных пропорциях является одним из факторов активизации познавательной деятельности учени­ков и методом накопления данных для мониторинговых ис­следований качества образовательного процесса.

Обучение с использованием технологий тестирования тре­бует создания служб и системы внешнего объективного конт­роля и оценивания качества подготовленности обучающихся, адекватных целям и задачам обучения, а также перевода оце­ночной деятельности на современные информационные сред­ства образовательного мониторинга для облегчения педагоги­ческого труда и повышения его эффективности.

Однако процесс становления новой системы оценки каче­ства образования объективно сталкивается с рядом трудностей, а педагогическое тестирование, как и всякое средство измере­ния и контроля, имеет ряд недостатков.

Во-первых, создание тестовых материалов представляет собой достаточно длительный и трудоемкий процесс, требую­щий обеспечения достоверности и надежности педагогических измерений. Налицо проблема подготовки качественных педаго­гических измерителей для многочисленных задач образования. Во-вторых, существует мнение, что тестовая методика не позволяет проверить понимание учащимися сути того или иного процесса, закономерности или явления, тестировать можно лишь форматизированные знания. Однако, как пока­зывает опыт, многое зависит от структуры и содержания тес­товых заданий, подбора отвлекающих ответов и учета их вы­бора при оценивании.

В-третьих, существует объективно обусловленная содержа­тельная ограниченность диагностируемой сферы знаний из-за конечного числа заданий теста.

В-четвертых, увлечение тестированием может ориентиро­вать педагогов на «натаскивание на тесты» и вольное обраще­ние с учебным материалом, подчинение его нуждам тестирова­ния, замене части базового материала «нужной» информацией. В-пятых, как и при любом другом виде контроля, при те­стировании существует возможность фальсификации результатов, однако, как показывают и опыт, и статистика результа­тов массового тестирования, доля нарушений при тестовом контроле в несколько раз ниже, чем при его традиционных формах.

И, наконец, в-шестых, существуют чисто субъективные факторы осторожного отношения к тестам: неверие части пе­дагогов в возможности тестирования и его объективность, не­желание использовать новые технологии, боязнь связанных с его использованием проблем, консерватизм некоторых руко­водителей, не желающих менять устоявшуюся традиционную систему работы.

По-видимому, часть этих недостатков будет устранена в ближайшее время в результате введения образовательных стан­дартов, создания общедоступных банков тестов и тестовых за­даний, варьирования структуры контрольных измерительных материалов и создания компьютерных технологий проведения тестирования.

Следует также всегда учитывать, что, как и любой другой измерительный инструмент, тесты способны измерять только то, к чему они предназначены, и с той точностью, которую удается обеспечить при их конструировании и апробации. Однако, обладая набором серьезных недостатков, они тем не менее пока являются единственным объективным способом педагогических измерений, исключающим влияние субъек­тивного фактора и обеспечивающим условия для целенаправ­ленного воздействия на образовательный процесс и образова­тельные системы. В значительной степени эффективность та­кого воздействия зависит от его обоснованности, качества педагогических измерителей, методов и технологий конт­рольно-оценочных процедур, методов накопления и анализа результатов, их интерпретации и использования полученной информации субъектами образовательного процесса.

Одной из задач системы контроля качества образования является информационное и организационное обеспечение методических центров и рядовых образовательных учреждений измерительными материалами, повышение профессионально-

го уровня специалистов в области контроля, а также качества самих контролирующих процедур и методик. Сегодня речь идет о создании принципов, терминологических и методиче­ских стандартов для системы контроля качества образования, которые не были бы абстрактными и оторванными от жизни, а отвечали насущным потребностям развития реальной рабо­ты по контролю образовательных достижений учащихся на всех этапах обучения.

Для иллюстрации логики подходов к созданию методиче­ских стандартов следует проанализировать ряд ошибок, на­блюдаемых в отечественной системе образования при освое­нии технологий педагогических измерений [16].

1. Использование трудоемких заданий типа «А» и неправильное управление временем, необходимым для работы с тестом. Средняя продолжительность временных затрат тестовых заданий находится в диапазоне 5—6 мин, а международная практика показывает, что в среднем на задание должно отводиться около минуты. Использование трудоемких заданий типа «А» не только является неправильным решением с точки зрения необоснованного расхода времени экзаменуемых и экзаменаторов, но и снижает надежность результатов. С метрологически-статистической точки зрения, число заданий типа «А» не должна быть менее 30 (как это следует из стандарта в зарубежной тестологии). Это приводит к повышению «тематической репрезентативности» — охватыванию более широкого круга контролируемых вопросов в ходе тестирования — и ограничивает возможность использования учащимся различных шпаргалок или подсказок. Дело в том, что одним из основных достоинств заданий типа «А» является их способность выявлять базисные (элементарные) знания и навыки учащегося по широкому кругу вопросов за весьма ограниченное время.

2. Отсутствие предварительной статистической апробации заданий и неудачный подбор дистракторов (набора «отвлекающих ответов» в заданиях типа «А»). Создание разумных дистракторов — важный и сложный момент в подготовке тестовых заданий, предмет специального профессионального умения (и даже таланта), которым не всегда владеют и весьма опытные методисты. Получить качественные дистракторы можно только из данных статистической апробации тестов. Без этих данных нельзя знать, насколько удачными оказались созданные «провокационные», «отвлекающие» ответы.

Однако чаще всего такая апробация не производится, и за­дание сразу попадает в официальный экзаменационный вари­ант. В результате учащиеся могут угадать «правильный ответ» не потому что знают суть предмета, а «методом исключения»: слишком неразумными, явно невероятными выглядят неудач­ные дистракторы. Нередко на основании таких неудачных те­стовых заданий критики тестирования делают выводы, что тесты - это «игра в угадайку». На самом деле хорошая прово­кация в дистракторах требует от учащегося определенной глу­бины понимания вопроса и необходимых знаний для подго­товки ответа.

3. Непонимание статистической природы и вероятностного механизма построения измерительных шкал в настоящее время оборачивается нерациональностью действий приемных комиссий и несправедливостью при формировании контингента студентов.

Надо учитывать, что 100-балльные шкалы, используемые при массовом тестировании, не всегда соответствуют 100% выполнения теста. Зачастую 90 баллов по шкале ЕГЭ — это не только не 90% выполненных заданий, но и не 90% испытуе­мых, показавших более низкий балл. На самом деле в ЕГЭ ис­пользуется нормализованная тестовая шкала с приближен­ными параметрами, примерно такими: средний балл - 50, 15-17 баллов - стандартное отклонение. Некоторое отличие возможно для разных предметов. При этом модель нормального распределения устроена так, что выше 90 баллов набира­ют не 10% испытуемых (как можно было бы подумать, если бы шкала была процентной), а всего лишь 2—3%. На рис. 8 видно, что размеры площади под кривой справа от точки, соответствующей 90 баллам, явно меньше 10% совокупной площади под всей кривой. Если на этой шкале установить нижнюю границу оценки «отлично» в точке 70 баллов, то оценку «отлично» получат не 30% участников тестирования, а всего лишь 11%.

Рис. 8. кривая нормального распределения с параметрами: 50 – средний тестовый балл,

17 – стандартное отклонение на 100 балльной шкале стандартизированных тестовых балов

Для того чтобы избежать неправильных ассоциаций с про­центными шкалами, в США часто применяется 1000-балльная шкала с параметрами средних тестовых баллов 500 и стандарт­ным отклонением 100 (в диапазоне от 300 до 800 баллов). В Ве­ликобритании во многих тестах используется шкала от 20 до 200 баллов.

Вопрос этот весьма важен для приемных комиссий, кото­рые устанавливают нижние и верхние границы для отбора аби­туриентов в вуз. В силу указанной особенности шкалы оценок ЕГЭ и непонимания ее природы выбранные приемными ко­миссиями границы оказываются завышенными для отлични­ков и ущемляют интересы выпускников, получивших доста­точно высокие баллы на ЕГЭ. С другой стороны, вузы могут недобирать абитуриентов в результате неверного понимания свойств нормализованной шкалы.

4. Субъективизм в оценивании заданий типа «С» с развер­нутым ответом. Введение таких заданий в структуру ЕГЭ яв­ляется методическим приоритетом отечественного подхода к оценке качества образования и отражает доминирующую тенденцию в развитии западных контрольно-оценочных техно­логий, в которых доля заданий типа «С» при подсчете общего итогового балла в последние годы неуклонно растет. Однако эксперимент по введению ЕГЭ показал, что несмотря на на­личие стандартизированной инструкции по анализу ответов на задания типа «С» и эталонных образцов решений, направляе­мых в каждую предметную комиссию каждого субъекта Феде­рации, имеет место значительный субъективизм оценивания этих заданий.

Основная причина заключается в том, что все кандидаты в эксперты должны проходить так называемую «стандартиза­цию»: на представительных выборках протоколов с решения­ми заданий типа «С» кандидаты в эксперты должны добиться высокого уровня точности и согласованности выставления оценок. Согласованность оценок начинающего эксперта с оценками коллектива опытных экспертов (принятыми за эта­лон) должна измеряться коэффициентом корреляции не ниже 0,8—0,9 на множестве не менее 30—50 проверенных работ. Сей­час для этого создается модель рабочего места эксперта, позво­ляющая организовать дистанционный тренинг по оцениванию стандартизированного набора протоколов и индивидуальных работ учащихся в режиме диалога с компьютером.

5. Произвол в определении нормативов в установлении критериев оценок. Административно-управленческий персонал образовательных учреждений часто устанавливает «норма­тив» совершенно произвольно, в буквальном смысле «с потолка». Следует иметь в виду, что при определении таблиц пере­счета стобалльных результатов ЕГЭ в пятибалльные школьные оценки федеральные предметные комиссии исходят не толь­ко из одного источника информации. Граничные норматив­ные точки (границы перевода) определяются с учетом различ­ной информации: рекомендаций авторов КИМ, реальных ста­тистических данных, полученных на генеральной выборке испытуемых, и др. Таким образом, формирование нормативов необходимо проводить профессионально, учитывая принципы теории педагогических измерений и педагогический такт.

Исходя из сказанного выше, важно при создании и ис­пользовании профессиональных контрольных измерительных материалов и методик тестирования базироваться на некото­рых основных принципах:

• оптимальная структура: обоснованное соотношение трудоемкости, числа заданий и продолжительности тестирования;

• апробация: обязательны предварительная экспериментальная апробация отдельных заданий и статистический анализ результатов;

• распределение баллов: шкалирование результатов должно основываться на понимании статистической конфигурации распределения тестовых баллов;

• подготовка и аттестация экспертов: к экспертному оцениванию заданий с развернутым письменным ответом следует допускать лишь экспертов, прошедших предварительный тренинг и аттестацию по его результатам;

• компромиссное формирование нормативов: принятие управленческих решений (по зачислению, отчислению и т. п.) должно базироваться на разумном сочетании экспертных требований и реальной образовательной статистики.

В последнее время средствам и методам оценки качества учебных достижений школьников и выпускников на федеральном уровне уделяется достаточно много внимания. Созданы специальные службы, обеспечивающие разработку необходимого инструментария для организации и проведения массо­вого тестирования и подготовки кадров: Федеральный институт педагогических измерений, Федеральный центр тестирования и др.