вопросы по методике от Аины Михайловны / Эк в.15

15. Инструментарий для контроля профессиональных знаний и умений.

Современная трактовка понятия «педагогическое измерение», компоненты педагогических измерений. Контрольно-измерительные материалы (КИМ): понятие, определения, требования к КИМам для контроля профессиональных знаний и умений. Отбор оптимального набора КИМ для контроля и оценки профессиональных знаний и умений, обоснование выбора. Контрольно-измерительные материалы для итоговой аттестации - перечень пробных практических квалификационных работ.

Педагогическое измерение - представляет собой конкретную процедуру количественного сопоставления изучаемого педагогического свойства (признака) с некоторым эталоном.

Согласно наиболее распространенному определению, введенному в 1946 г. американским психологом С.Стивенсом, измерение — это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами. По мере развития педагогики, психологии и социологии возникла потребность во введении не только количественных, но и качественных оценок для величин, отличающихся по степени проявления того или иного свойства. Качественные оценки являются менее точными по сравнению с количественными в силу применяемых способов и инструментов измерения. Например, классифицирующие понятия в образовании («знающий», «подготовленный» и др.), которые дифференцируют обучающихся по уровню знаний и играют важную роль в учебном процессе, определяются субъективно учителем или группой учителей. Нередко качественные оценки выражают с помощью чисел, которые выбирают на основе экспертных суждений и соглашений. Приписываемые числа могут трактоваться по-разному.

Компоненты процесса педагогических измерений. Процесс педагогических измерений включает:

• выбор предмета измерения (латентных характеристик объектов) и их числа;

• выбор эмпирических референтов (наблюдаемых характеристик объектов);

• выбор измерительных процедур;

• конструирование и использование измерительных инструментов;

• выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);

• построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;

• обработку, анализ и интерпретацию результатов измерения.

Контрольно-измерительный инструмент включает два компонента. Первый компонент — само измеряющее устройство, роль которого в педагогических измерениях чаще всего, но не всегда выполняет тест. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих обоснованные оценки концептуально выделенной переменной (переменных) измерения с высокой объективностью.

Второй компонент измерительного инструмента — заранее подготовленная шкала, которая служит для фиксации результатов измерения и на которой откладываются оценки (количественные или качественные) измеряемой переменной.

Наиболее распространенное средство педагогического измерения — педагогический тест. Педагогический тест — это совокупность заданий, отобранных на основе научных приемов для педагогического измерения в тех или иных целях.

Существует ряд требований к тесту организационного характера:

• тестирование осуществляется главным образом через про­граммированный контроль. Никому не дается преиму­ществ, все отвечают на одни и те же вопросы в одних и тех же условиях;

• оценка результатов производится по заранее разработанной шкале;

• применяются необходимые меры, предотвращающие ис­кажение результатов (списывание, подсказку) и утечку информации о содержании тестов.

При проведении тестирования учитываются три критерия качества теста:

Надежность — определение степени погрешностей в пе­дагогической оценке, в вычислении истинного значения оценки. В последнее время получил распространение экс­пертный опрос, когда студента оценивают 2-3 и более преподавателей, и посредством коррелирования результа­тов появляется возможность надежности оценки.

Валидность теста — соответствие форм и методов контроля его цели.

Наиболее распространенные причины невалидности контроля — списывание, подсказка, репетиторское «на­таскивание», снисходительность, чрезмерная требователь­ность, применение какого-либо метода при отсутствии надлежащих условий. В таких случаях результаты контроля неадекватны поставленным задачам. В целях повышения валидности педагогического контроля применяются экс­пертные оценки контрольного материала для приведения в соответствие требований учебной программы и концеп­ции знания. Концепция знания может зависеть от статуса вуза, контингента обучаемых. Соответственно должен варьироваться и контрольный материал.

Объективность — критерий, в котором сочетаются на­дежность, валидность плюс ряд аспектов психологическо­го, педагогического, этического, ценностного характера.

Обобщенно для различных видов контроля в учебной практике в качестве КИМов, кроме тестовых заданий могут иметь место:

• контрольные вопросы для устных и письменных ответов;

• вопросы для беседы и собеседования;

• программа наблюдений;

• анкеты;

• контрольные листы;

• занимательный материал (кроссворды, ребусы, загадки …);

• технологические карты, чертежи, схемы с пропусками и др.;

• задания для практических работ;

• комплект упражнений;

• перечень учебно-проверочных работ;

• и другие.

При разработке новых инструментов оценивания необходимо: 1) определить прогнозируемые результаты занятия; 2) выбрать показатели (критерии) оценивания этих результатов. Задавая себе вопрос: «Как я смогу убедиться, что учащиеся достигли результата?», у педагога может появиться целый список действий, которые смогут сделать учащиеся, если занятие достигло своих результатов. Эти действия учащихся и будут показателями или критериями оценки. Используя эти критерии, педагог сможет лучше сформулировать прогнозируемые учебные результаты, выразив их через действия учащихся; 3) определить цель вашего оценивания. Целью не всегда может быть выставление отметок. Как было показано выше, оценивание может иметь разные функции в зависимости от того, на каком этапе процесса обучения и для чего оно применяется. Улучшение качества занятия, определение уровня развития и способностей учащихся и т. д. также могут нередко выступать в качестве целей оценивания; 4) выбрать конкретные стратегии оценивания. Как правило, единых рекомендаций по выбору стратегии не существует. Один педагог может выбрать метод наблюдения и составить список показателей. Другой педагог предпочтёт дать учащимся задание написать небольшой очерк размышление с изложением своих мыслей по данному вопросу. Наиболее предпочтительным вариантом, как говорилось выше, является использование нескольких стратегий оценивания. Использование нескольких стратегий поможет не только выставить оценку, но и получить обратную связь; 5) установить шкалу оценивания. В зависимости от целей и конкретной стратегии оценивания необходимо выбрать шкалу оценки каждого из предложенных критериев. Иногда нужно будет применить стобалльную или десятибалльную шкалу. Уровень стартовых коммуникативных способностей учеников можно оценить через категории «высокий», «средний», «низкий». Глубину усвоения того или иного навыка можно отследить, обратив внимание на частоту использования конкретного навыка. Тогда оценку можно выразить через категории «всегда использует», «использует достаточно часто», «недостаточно часто», «редко», «совсем не использует»; 6) определить, как вы доведёте до сведения учащихся ваши ожидания. Уже говорилось, что сообщение учащимся ожидаемых результатов, критериев оценивания, методов и шкалы оценки поможет учащимся выполнять работу осознанно, старательно, зная, что от них требует и ожидает педагог. Педагог может довести до сведения учащихся свои ожидания по-разному. Можно показать подготовленные формы для оценивания и разъяснять, что обозначает каждый критерий и каждый уровень оценки. Можно ограничиться простым рассказом или рассказом с обсуждением. Педагог может показать видеоматериал с подобным заданием или реальной ситуацией парламентских дебатов, если в процессе урока планируется применение моделирования ситуации парламентских слушаний. Учащиеся также могут потренироваться в оценивании, используя предложенные критерии. Грамотное применение стратегий оценивания в образовательном процессе позволяет педагогу обеспечить эффективность обучения, принять наиболее оптимальное решение. Постановка индивидуальных целей обучения поможет учащимся и педагогам создать индивидуальные маршруты обучения, что является актуальным.

Обеспечение качества измерительных материалов осуществляется при реализации следующих принципов при их разработке:

• соответствие структуры и содержания измерительных материалов основным целям, с которыми проводятся оценочные процедуры;

• учет требований технологичности массовых процедур для разработки инструментария мониторинговых исследований;

• оптимизация требований технологичности и аутентичности;

• сочетание объективной и стандартизированной экспертной форм оценки;

• адекватность используемой формы задания (с выбором ответа, с кратким ответом, с развернутым ответом) проверяемым знаниям и умениям;

• необходимость экспериментальной проверки измерительных материалов с целью определения содержательной валидности и надежности проверочных заданий и работы в целом, а также критериев определения оценок;

• недопустимость использования заданий, которые могут дискриминировать испытуемых по какому-либо основанию (гендерные различия, этнические различия, политические взгляды и др.);

• ориентация на повышение качества образования и стимулирование развития общеобразовательной школы.

Для итоговой аттестации в качестве контрольно-измерительных материалов могут служить вопросы для государственного экзамена, перечень примерных тем выпускных квалификационных работ. КИМы для итоговой аттестации должны отвечать требованиям образовательного стандарта (ФГОС) по содержанию, по объему и критериальным показателям.

Метод оценивания	Оценочные средства, критерии
опрос, анкетирование, написание эссе, защита проекта, презентация	опросники, анкеты, темы эссе; позитивный настрой на обучение и получение выбранной специальности; положительные жизненные установки, деятельность
собеседование с преподавателями; анкетирование; опрос; участие в проекте; эссе; интервьюирование;	экспертные оценки опросники, анкеты, заполнение мультивариативных опросников;
экзамен (устный, письменный); тестирование; входной контроль по дисциплинам; контент-анализ результатов вступительных испытаний	тесты достижений; комплексные тесты на проверку остаточных знаний по отдельной дисциплине или по блоку дисциплин; проверочные работы; суммарный балл при поступлении в вуз, контрольная работа и др.
входное бланочное или компьютерное тестирование проверочные работы по дисциплинам; рефераты;	компетентностные тесты, комплексные тесты достижений; шкала оценивания темы работ и критерии их оценивания
решение проектов индивидуально или в группе; кейс-измерители; научное исследование; подготовка реферата по заданной теме; проведение занятия и др.	защита проекта; решение кейса; презентация; доклад; научная статья; отчет по практике; курсовой или дипломный проекты и др.
компьютерное тестирование; работа в сети по приему и передаче информации; подготовка рефератов на заданную тему	многоуровневые тесты образовательных достижений; прием-передача информации на заданный адрес; написание реферата по теме; создание базы данных; создание каталога источников по проблеме; использование сайтов в сети Internet и др.;
работа по формированию навыков на теоретических и практических занятиях; ролевые игры; устные ответы на занятиях; подготовка письменной презентации (эссе, отчет, рефлексивный дневник и т.п.);	защита сообщений по выбранной теме, распределение обязанностей в группах и бригадах, оценка друг друга и самооценка; собеседование; участие в групповой работе; участие в дискуссии (дебатах, переговорах; участие в публичной презентации с видеозаписью происходящего; наблюдение демонстрации реальных профессиональных навыков;
подготовка отчета по лабораторной работе;	демонстрация опыта \ эксперимента; участие в ролевой игре; использование программного обеспечения и видео;реальное воспроизведение элементов профессиональной деятельности;
опросы, собеседования, наблюдение, ролевые игры	опросники, сценарии ролевых игр, шкалы оценивания
тестирование, опрос	тесты, опросники, шкалы оценок
опрос, написание рефератов, подготовка докладов, выступлений и др.	опросники, оценка доклада или реферата, оценка выступления, концерта, рассказ об экскурсиях, посещениях музеев, театров и др.
формирование портфолио; подготовка презентации; участие в групповых проектах.; участие в соревнованиях,	конкурсы, олимпиады; проектирование и внедрение проекта; самооценка качества исполнения работ;
инструктаж по технике безопасности, санитарной гигиене, обучение методам оказания первой медицинской помощи	соблюдение правил личной гигиены, правил техники безопасности; знание методов оказания первой медицинской помощи.
портфолио спортсмена; анкетирование по вопросам отношения к физкультуре; опрос по отношению к созданию условий общежития	свидетельства об участии в соревнованиях; анкеты; шкалы оценивания
опрос, анкетирование	опросники; анкеты

5