Инновационное проектирование оценочных средств в системе контроля качества обучения в вузе. Учебное пособие

РАЗДЕЛ II. КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННЫЕ ОЦЕНОЧНЫЕ СРЕДСТВА УЧЕБНОЙ ДИСЦИПЛИНЫ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

Вариант 1. Экспертиза тематического теста, составленного однокурсником

Проанализировать тест однокурсника и сделать выводы о возможности его применения в преподавании истории в школе.

Схема анализа:

1. Анализ кодификатора теста:

•все ли главные факты (даты, события, имена исторических деятелей, историко-географические объекты и т. д.) и теоретический материал (понятия, причинно-следственные связи и т. д.) отражены в кодификаторе;

•не является ли содержание кодификатора избыточным, то есть не включены ли в него неглавные факты и элементы, которые невозможно проверить с помощью теста (например, оценочные умения или выявление точки зрения учащегося); обратите внимание на тот факт, что обычно автор теста стремится сделать отображение содержания дисциплины в тесте глубже и полнее, так как все во-

просы кажутся важными и значимыми, однако при создании теста ставится задача отобразить самое главное, без чего качественная проверка итоговых результатов немыслима.

2.Анализ формы и содержания отдельных тестовых заданий: соответствие задания кодификатору; правильность и корректность формулировки задания; правильность и корректность формулировки всех дистракторов (если они предусмотрены); соответствие формы задания и его содержания.

3.Анализ качества содержания всего теста, имеющего несколько па-

раллельных вариантов. Необходимо сделать вывод о том, насколько оптимально в содержании заданий теста отображен кодификатор, то есть:

•определить полноту охвата кодификатора каждым вариантом теста и всеми вариантами вместе (чем полнее отображение, тем выше содержательная валидность теста);

•определить правильность пропорций содержания теста (подсчитать количество заданий в тесте, ориентированных на материал каждой темы в соответствии с ее местом и значимостью в разделе,

и сопоставить это количество с вашими представлениями).

4.Непротиворечивость всего пакета документов к тесту. Общий вывод о пригодности разработанных материалов для использования в учебном процессе в соответствии с целью тестирования и возрастными особенностями учащихся.

71

А. В. КЛИМЕНКО, М. Л. НЕСМЕЛОВА, М. В. ПОНОМАРЕВ

ИННОВАЦИОННОЕ ПРОЕКТИРОВАНИЕ ОЦЕНОЧНЫХ СРЕДСТВ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

Вариант 2. Экспертиза электронного издания учебного назначения по истории

Задание предусматривает проведение экспертизы одного из электронных учебных изданий по истории для учащихся средней школы. Схема экспертного заключения составлена на основе подходов к комплексной экспертизе электронных образовательных продуктов в Федеральном экспертном совете по учебным электронным изданиям Минобрнауки РФ19.

План экспертного заключения:

1)основные сведения об электронном издании: название издания; издатель; год издания; возраст учащихся; назначение издания;

2)техническая экспертиза (работоспособность электронного издания на программно-технических комплексах): установка/ удаление продукта в системе (требуемая память, корректность автоматической установки стандартного программного обеспечения, возможность деинсталляции и пр.); работоспособность всех заявленных функций; качество программной реализации (поведение при запуске параллельных приложений, скорость отклика на запросы и пр.);

3)содержательная экспертиза (полнота содержания в предметной области, педагогические качества электронного издания): объем материала и степень разработки темы (соответствие образовательным стандартам, актуальность, новизна, оригинальность и пр.); содержание в целом (фактографическая, идеографическая, прагматическая содержательность, фоновое культурное знание, формирование целостной картины и пр.); педагогическая оценка (соответствие интересам преподавателя, обучаемого, организация материала и пр.); методическая состоятельность продукта (оценка используемых методик, системы контроля, соответствие принципам вариативности и пр.);

4)экспертиза дизайн-эргономики (ответ на вопрос: эффективно ли данное издание в электронном исполнении? Нужно ли было делать электронное издание или проще и лучше было бы выпустить книгу. Основное по существу этой экспертизы – искусство разработчиков, их умение использовать новые педагогические инструменты компьютерных технологий обучения – интерактив, мультимедиа, моделинг, коммуникатив-

19Подробнее см.: Осин А. В. Мультимедиа в образовании: Контекст информатизации.– М., 2004. – С. 112–116; 263–286.

72

РАЗДЕЛ II. КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННЫЕ ОЦЕНОЧНЫЕ СРЕДСТВА УЧЕБНОЙ ДИСЦИПЛИНЫ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

ность, производительность в тех или иных сочетаниях. Оценка уровня реализации этих возможностей является главной задачей дизайн-эргономической экспертизы): уровень интерактивности (использование устройств взаимодействия пользователя с компьютером; встроенные интерактивные анимации, удобство навигации и т. д.); наличие мультимедиа-компонен- тов (полнота использования и гармония средств мультимедиа, оригинальность и качество мультимедиа-компонентов, уровень моделирующих программ и пр.); возможности моделинга (моделинг реальной среды, имитационное моделирование и т. д.); интеграция интерактивности с мультимедиа и моделингом; коммуникативность (техническая и методическая поддержка пользователя, реализация обновления, возможности подключения внешних программ и ресурсов Интернета и т. п.); производительность (эффективность навигации, оглавление, глоссарий, базы данных, возможности поисковой системы, возможности обращения к справке и др.); эргономичность, комфортность для пользователя (интуитивная ясность, дружественность, удобство навигации, оптимальность управляющих элементов, простота использования и пр.);

5)общий вывод о возможности применения данного электронного издания в учебном процессе на соответствующей ступени образования.

Вариант 3. Проведение экспертизы политического документа

Данное задание выполняется в формате деловой игры и предполагает проведение экспертизы политического документа в рамках судебного процесса по обвинению в распространении экстремистских идей. Сложность задания заключается в том, что по условиям игры обвинение в пропаганде фашизма было выдвинуто в адрес об- щественно-политического движения «Наши», которое позиционирует себя на политической арене как антифашистское.

Задание выполняется в три этапа:

1.Проанализируйте четыре исторических документа, раскрывающие суть идеологии фашизма (Муссолини Б. Доктрина фашизма. URL: http://lib.misto.kiev.ua/POLITOLOG/MUSSOLONI/mussol.txt;

Программа Национальной фашистской партии Италии (1941) // Д. А. Магеровский. Фашистское государство. – М., 1928; Родзаевский К. В. Азбука фашизма // К. В. Родзаевский. Завещание

73

А. В. КЛИМЕНКО, М. Л. НЕСМЕЛОВА, М. В. ПОНОМАРЕВ

ИННОВАЦИОННОЕ ПРОЕКТИРОВАНИЕ ОЦЕНОЧНЫХ СРЕДСТВ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

русского фашиста. – М.: ФЭРИ-В, 2001; Программа Всерос-

сийской фашистской партии. URL: http://www.anticompromat. org/naziki/progr_vfp.html). На основе изученных документов составьте резюме об особенностях фашизма как экстремистской идеологии (речь идет именно о фашизме, а не национал-социа- лизме). Результат анализа представляется в формате аналитической записки (в тексте целесообразно широко использовать цитаты из документов, иллюстрирующие выявленные идеологемы, доктринальные принципы и установки; объем текста 1–1,5 стр. 12-м шрифтом с одинарным интервалом).

2.На основе проделанной работы составьте перечень критериев, на основании которых может быть осуществлена судебная экспертиза политических, публицистических, художественных

ииных материалов на предмет их соответствия принципам фашистской идеологии (для включения их в Федеральный список экстремистских материалов). Каждый из критериев должен быть сформулирован четко и недвусмысленно, без оценочных суждений и риторических замечаний, хотя при необходимости может сопровождаться примечанием с комментарием специфических терминов.

3.На основе разработанных критериев проведите экспертизу политического документа «Манифест молодежного демократического антифашистского движения “Наши”» (Политические молодежные организации. Программы и люди / И. Яковлев

идр. – М.: Панорама, 2007. – С. 50–59. URL: http://nashi.su/ projects). Необходимо показать, какие конкретно положения, содержащиеся в «Манифесте…», позволили вам как эксперту прийти к выводу о присутствии или отсутствии экстремистских идей фашистского толка в этом документе. Вывод должен опираться на те экспертные критерии, которые были сформулированы на предыдущем этапе работы, и сопровождаться доказательными аргументами и иллюстрирующими цитатами из «Манифеста…». Результат оформляется как экспертное заключение (объем текста – примерно 1–1,5 стр.).

Таким образом, в состав отчета входят аналитическая записка об особенностях фашизма как экстремистской идеологии, перечень критериев для экспертизы и экспертное заключение о «Манифесте». Оформление титульного листа и технические характеристики текста типовые.

74

РАЗДЕЛ II. КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННЫЕ ОЦЕНОЧНЫЕ СРЕДСТВА УЧЕБНОЙ ДИСЦИПЛИНЫ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

Задание 9. Анализ Интернет-сайта

Задание направлено на формирование умений анализировать Ин- тернет-ресурсы с точки зрения возможности их использования в профессиональной деятельности.

Например, анализ Интернет-сайта образовательного назначения позволяет, в частности, выявить его дидактические функции.

План анализа:

1.Выпишите название сайта (портала), его Интернет-адрес, оформленный в соответствии с правилами библиографического описания, сделайте скриншот главной страницы.

2.Определите, кому из участников образовательного процесса (администрации учебных заведений, учителям, учащимся или их родителям) он адресован?

3.Опишите структуру сайта: выясните, какие рубрики присутствуют и какую полезную информацию для учителя истории они содержат. Оформите данную информацию в виде анимированной схемы.

4.Установите, какие дидактические функции выполняет в учебном процессе анализируемый сайт. Приведите примеры, подтверждающие каждую функцию.

5.Запишите адреса других полезных для учителя истории сайтов, на которые вы обнаружили гиперссылки.

6.Составьте резюме одной из публикаций сайта, заинтересовавшей

вас как будущего учителя истории.

Результаты работы представляются в виде анимированных слайдов в программе PowerPoint.

Примерный перечень сайтов:

1.www.edu.ru – «Российское образование».

2.www.school.edu.ru – «Российский общеобразовательный портал».

3.www.humanities.edu.ru – «Социально-гуманитарное и политологическое образование».

4.http://school-collection.edu.ru – единая коллекция цифровых обра-

зовательных ресурсов.

5.http://fcior.edu.ru – федеральный центр информационно-образова- тельных ресурсов.

6.http://www.fipi.ru – сайт Федерального института педагогических измерений.

7.http://his.1september.ru – электронная версия газеты «История».

75

А. В. КЛИМЕНКО, М. Л. НЕСМЕЛОВА, М. В. ПОНОМАРЕВ

ИННОВАЦИОННОЕ ПРОЕКТИРОВАНИЕ ОЦЕНОЧНЫХ СРЕДСТВ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

8.http://bibliotekar.ru – Библиотекарь.Ру.

9.http://www.pedlib.ru – педагогическая библиотека.

10.http://pedsovet.alledu.ru – виртуальное методическое объединение учителей «Всероссийский августовский педсовет».

11.http://museum.npstoik.ru – портал «Музей, школа, Интернет».

12.www.it-n.ru – Сеть творческих учителей.

13.http://decemb.hobby.ru – проект «Виртуальный музей декабристов».

14.www.moscowmap.ru/histor_map.shtml – Интерактивная карта Рос-

сийской империи.

15.http://www.internet-school.ru – первая в России лицензированная и аккредитованная Интернет-школа.

16.http://www.eidos.ru – центр дистанционного образования «Эйдос».

Задание 10. Составление портфолио студента по дисциплине

Задание направлено на формирование у студентов навыков рефлексии, умений обобщать собственную деятельность, оформлять и представлять ее результаты в виде профессионального портфолио.

Портфолио – это коллекция работ учащихся за определенный период времени, например, за семестр. По портфолио будет оценено соответствие учебной программе полученных вами знаний и умений. Обратите внимание, что портфолио также позволяет оценить вашу мотивацию и продвижение в учебе, а также уровень самооценки и рефлексии.

Оценка методом портфолио требует ответственности и самооценки, поскольку вы сами решаете, какие материалы включать в портфолио. При проектировании своего портфолио необходимо опираться на следующие элементы.

Для примера приведем характеристику документального портфолио студента, изучающего дисциплину «Современные средства оценивания результатов обучения»:

Цели:

•оценка преподавателем полученных студентом знаний и умений в ходе выполнения самостоятельной работы по дисциплине;

•самооценка студента, способствующая рефлексии полученных знаний и умений.

Критерии оценки:

•обоснованность включения материалов в портфолио (информация и материалы, отобранные или созданные для портфолио, должны быть непосредственно связаны с заданиями учебной программы, а также удовлетворять целям дисциплины и критериям отбора материалов);

76

РАЗДЕЛ II. КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННЫЕ ОЦЕНОЧНЫЕ СРЕДСТВА УЧЕБНОЙ ДИСЦИПЛИНЫ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

•множественность и разнообразие материалов (материалами для портфолио могут быть тексты, презентации, фотографии, персональные страницы в Интернете и т. д.);

•подлинность;

•качество включенных в портфолио материалов: средства, использованные для их создания (в том числе средства ИКТ); аналитическая структурированность материала; эстетичность представления и качество оформления;

•наличие материалов, свидетельствующих о самооценке и рефлек-

сии полученных студентом знаний и умений.

Критерии отбора материала для портфолио. Материалы, поме-

щенные в портфолио должны:

•документально подтвердить выполнение всех заданий, запланированных при изучении дисциплины;

•раскрывать отношение студента к обучению, свидетельствовать о понимании обучаемого, его интересах и мотивации;

•показывать приобретенные студентом знания и умения, продвижение в учебе;

•демонстрировать достаточный уровень самооценки и рефлексии.

Содержание портфолио формируется самостоятельно каждым студентом исходя из целей портфолио и критериев отбора материала для портфолио. Вы сами решаете, какие материалы необходимо включать в портфолио. Можно предложить пример структуры портфолио студента. Вы можете предложить абсолютно другую структуру или дополнить предложенную своими разделами.

Примерная структура портфолио:

•титульный лист;

•оглавление;

•раздел, отражающий выполненные студентом задания для самостоятельной работы;

•раздел, отражающий прочитанную студентом научную литературу (конспекты, библиографические списки, перечень сайтов Интернета и т. п.);

•раздел, отражающий знакомство с современным педагогическим опытом по изучаемым проблемам;

•раздел, отражающий самооценку и рефлексию (данные материалы могут быть включены как составная часть в другие разделы). Здесь могут быть помещены ответы на вопросы, типа: «Добился ли я цели – удовлетворительных результатов обучения?», «Как применять

77

А. В. КЛИМЕНКО, М. Л. НЕСМЕЛОВА, М. В. ПОНОМАРЕВ

ИННОВАЦИОННОЕ ПРОЕКТИРОВАНИЕ ОЦЕНОЧНЫХ СРЕДСТВ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

полученные знания – владею ли я умениями и навыками, необходимыми для использования конкретных технологий на практике?», «Как понять, что я достаточно хорошо прошел курс обучения?», «Как мне оценить не только результат обучения, но и отдельные его этапы?» и т. п. Они могут быть оформлены в виде эссе.

Задание 11. Составление кейса

Метод кейсов (case-study) – это технология исследования или обучения, основанная на реконструкции и анализе конкретных ситуаций («случаев»). Ситуации могут быть реальными или вымышленными, но в любом случае воспринимаются как проблемные, требующие не только установления всех обстоятельств и участников, но и выявления сути проблемы, поиска путей ее решения, формулирования собственной позиции по этому поводу. Как следствие, при анализе сложных и неоднозначных проблем кейс становится своеобразным исследовательским «микроскопом»: в контексте конкретной ситуации изучаемые процессы и явления выглядят более очевидными и наглядными. В качестве образовательной технологии метод кейсов напоминает деловую игру – он опирается на имитацию управленческого или экспертного решения определенной комплексной задачи. Достоинства этого метода – перенос акцента с овладения готовым знанием на его творческую выработку, формирование разнообразных аналитических умений и навыков по работе с информацией, комплексный и зачастую междисциплинарный характер решаемых познавательных задач.

В качестве примера рассмотрим разработку учебного кейса по проблемному направлению «Социальные последствия информационной революции» в рамках дисциплины «Современная история».

Создание кейса – это особая задача, требующая, с одной стороны, освоения определенной области знаний на уровне, достаточном для постановки актуальной проблемы и ее аргументированного раскрытия, а с другой, применения навыков поиска, обработки и синтеза информации, комплексного моделирования сценария работы с кейсом, в том числе формулирования познавательных вопросов и заданий, построения алгоритма работы с информационным массивом. Задание выполняется поэтапно, с оформлением результатов каждого этапа.

Первый этап – это выбор проблемы, постановке и раскрытию которой будет посвящен кейс. Следует учесть, что любое сложное общественное явление сопряжено с целым комплексом проблем, отражающих противоречия между определенными процессами и явлениями,

78

РАЗДЕЛ II. КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННЫЕ ОЦЕНОЧНЫЕ СРЕДСТВА УЧЕБНОЙ ДИСЦИПЛИНЫ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

позициями и мнениями их участников, необходимостью неких действий и недостаточными условиями для их реализации и т. п. Для составления кейса необходимо сформулировать проблему, имеющую общественный резонанс или практическую значимость, провоцирующую разнонаправленные трактовки и полемику, неоднозначную по перспективам (пример: если кейс создается в рамках проблемного направления «Развитие межконфессиональных отношений в многонациональной России», то в качестве проблемы может быть рассмотрен выбор стратегии государственной политики в отношении Церкви). В отчете о первом этапе работы фиксируется формулировка проблемы и приводится краткое объяснение причин, по которым эту проблему можно считать важной при изучении социальных последствий информационной революции.

Вторым этапом является разработка общей концепции кейса. С помощью учебных материалов, дополнительной литературы, ресурсов СМИ и сети Интернет собирается информация о причинах возникновения и сущности поставленной проблемы, субъектах, которые непосредственно связаны с нею, заинтересованных сторонах, а также выявляются существующие мнения о методах и стратегии ее решения. Все эти сведения пока могут носить неупорядоченный характер, но они должны помочь выявить практические аспекты поставленной проблемы и сформировать общее представление о ней. Это позволит перейти от постановки общей проблемы к моделированию конкретной проблемной ситуации (продолжая приведенный выше пример: если при изучении межконфессиональных отношений в многонациональной России формулируется проблема выбора стратегии государственной политики в отношении Церкви, то в качестве кейса может быть предложена конкретная ситуация ввода в школе учебного курса по основам конфессиональной культуры). В отчете о втором этапе необходимо коротко описать суть предлагаемой проблемной ситуации, очертить круг ее участников и заинтересованных сторон, показать основные действия участников, определить хронологическую и пространственную локализацию проблемной ситуации и т. п. (примерно 0,7–1 стр.). Кроме того, приводится список источников, использованных для сбора первичной информации.

В ходе третьего этапа кейс оформляется как комплексное учебное задание с приложением необходимых материалов. Исходя из характеристики проблемной ситуации, составленной на предыдущем этапе, необходимо сформулировать «пошаговые» учебные задания, име-

79

А. В. КЛИМЕНКО, М. Л. НЕСМЕЛОВА, М. В. ПОНОМАРЕВ

ИННОВАЦИОННОЕ ПРОЕКТИРОВАНИЕ ОЦЕНОЧНЫХ СРЕДСТВ В СИСТЕМЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ

ющие как аналитический, так и практический характер (продолжая приведенный выше пример: если кейс посвящен вводу в школе курса по основам конфессиональной культуры, то задания кейса могут быть направлены на уточнение предмета изучения в рамках такого курса, определение его дидактической специфики, решение вопросов о наборе вариативных модулей курса, его инвариантной части, о том, в каком классе возможно его введение, какова трудоемкость, какая дополнительная подготовка учителей может понадобиться, каким образом необходимо выстроить диалог с общественностью по этой проблеме

ит. п.). Параллельно с формулированием учебных заданий необходимо отобрать информацию, с которой студенты будут работать в ходе аудиторного занятия. В состав такого раздаточного материала могут войти фрагменты из материалов СМИ, документы, статистические данные, иллюстрации и т. п. Определяя количество заданий и вспомогательных материалов необходимо ориентироваться на 4 ч (сдвоенное занятие со студенческой группой). Задания могут быть как индивидуальными, так

игрупповыми. Описание кейса не должно содержать каких-либо подсказок относительно путей решения поставленной проблемы.

Таким образом, в состав отчета должны войти формулировка проблемы, краткое объяснение причин, по которым эту проблему можно считать важной при анализе социальных последствий информационной революции, характеристика проблемной ситуации, список источников, использованных для сбора первичной информации об изучаемой проблеме и избранной ситуации, формулировка учебных заданий с приложением раздаточных материалов. Оформление титульного листа и технические характеристики текста типовые.

Задание 12. Написание рецензии на научное исследование

В рамках данного задания предлагается знакомство с одной из предложенных монографий или статей по проблематике учебной дисциплины и анализ авторской концепции в формате рецензии.

Рецензия – это оценочный критический анализ научной работы (монографии, статьи, эссе, реферата, диссертации). Рецензирование предполагает, с одной стороны, краткое аналитическое воспроизведение взглядов автора научной работы на поставленную им проблему, а с другой, развернутую и аргументированную формулировку отношения рецензента к основным идеям автора, интерпретацию основных положений рецензируемой работы в соответствии с взглядами и убеждениями рецензента. Рецензия является самостоятельным жан-

80