- •Современные средства оценивания результатов обучения
- •050102 – «Биология» с дополнительной специальностью 050101 «Химия» с дополнительной специальностью 050103 «География»
- •Учебная программа по дисциплине "Современные средства оценивания результатов обучения" Пояснительная записка.
- •Основное содержание курса «Современные средства оценивания результатов обучения»
- •Рекомендуемая основная литература:
- •Рекомендуемая дополнительная литература:
- •Учебно-тематический план по курсу
- •Методические рекомендации преподавателю
- •Практическое задание
- •Методические указания студентам
- •Планы семинарских и лабораторно-практических занятий
- •Семинарское занятие №1
- •По теме: Педагогический контроль в современном учебном процессе. Виды, формы и организация контроля качества обучения.
- •Список основной литературы:
- •Методические указания
- •Задания для работы на семинаре
- •Задания для самостоятельной работы
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания к семинарскому занятию
- •Задания для работы на семинаре
- •Тексты для анализа к вопросу о мониторинге качества образования
- •Рейтинговая система оценивания
- •Портфолио обучающихся
- •Задания для самостоятельной работы
- •Семинарское занятие №3
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания
- •Задания для работы на семинаре
- •1. Классификация
- •Задания для самостоятельной работы
- •Лабораторно-практическое занятие №1 по теме: Психолого-педагогические аспекты тестирования. Педагогические тесты. Термины и определения. Классификация педагогических тестов
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания
- •4. По характеру действий:
- •5. По ведущей ориентации:
- •6. По степени однородности задач:
- •9. По целям использования
- •10. По широте использования
- •Классификация целей обучения
- •Конкретизированные цели обучения
- •Задания для самостоятельной работы
- •Лабораторно-практическое занятие №2 по теме: Типы, формы и виды тестовых заданий. Компьютерное тестирование и обработка результатов
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания
- •Задания для работы на лабораторно-практическом занятии Тексты для анализа
- •Задания на дополнение с ограничениями на ответы
- •Требования к заданиям в закрытой форме
- •Задания на соответствие
- •Задания на установление правильной последовательности
- •Задания для самостоятельной работы
- •Список основной литературы:
- •Методические указания
- •Задания для работы на семинаре
- •Как изменится жизненная емкость легких у курильщиков?
- •В предлагаемом перечне русских художников укажите лишнее имя
- •С увеличением высоты доля углекислого газа в воздухе
- •Физиологическое отражение — это свойство
- •Укажите, кто из названных ниже лиц был декабристом
- •Основные этапы конструирования педагогического теста
- •Задания для самостоятельной работы
- •Семинарское занятие №4 по теме: Единый государственный экзамен, его содержание и организационно-технологическое обеспечение
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания.
- •Задания для работы на семинаре.
- •Принцип доступности обучения состоит в том, что содержание
- •Темы для индивидуальных сообщений.
- •Инструкция по проведению тестирования
- •Требования к егэ
- •Технология егэ
- •Информационная безопасность
- •Информационное обеспечение егэ
- •Первоочередные задачи информационной системы
- •Задания для самостоятельной работы.
- •Лабораторно-практическое занятие №4 по теме: Контрольно-измерительные материалы (киМы) (содержание, структура и технология разработки тестовых заданий по конкретному предмету).
- •Список основной литературы:
- •Список дополнительной литературы:
- •Методические указания
- •Задания для самостоятельной работы
- •Требования к уровню освоения программы дисциплины
- •Вопросы к зачету по курсу «Современные средства оценивания результатов обучения»:
- •Критерии оценки на зачете по дисциплине «Современные средства оценивания результатов обучения» за ответы на теоретические вопросы
- •Практическое задание
- •Критерии оценки на зачете по дисциплине «Современные средства оценивания результатов обучения» за практическое задание.
Физиологическое отражение — это свойство
а) только живой материи
б) только неживой материи
в) и живой и неживой материи
г) только высокоорганизованной живой материи
9. Укажите недостатки в заданиях:
а) При выстреле из автомата вылетает пуля массой m со скоростью v. Какую по модулю скорость приобретает автомат, если его масса в 500 раз больше массы пули?
Варианты ответов:
1)v, 2)500 v, 3) v/500, 4)0.
5) среди указанных ответов 1-4 нет верного.
б) Для экономического развития России начала XX века было характерно преобладание
1) доли промышленной продукции в национальном доходе
2) городского населения над сельским
3) доли вывоза готовой продукции над вывозом сырья
4) сельского населения над городским
10. Переформулируйте задание так, чтобы в основной части остались два слова.
Укажите, кто из названных ниже лиц был декабристом
1) Н. И. Новиков
2) К. Ф. Рылеев
3) И. И. Пущин
4) С. П. Трубецкой
5) М. В. Петрашевский
Задание 2.
После проведения тестирования составляется карта решаемости теста, где за основу берется коэффициент решаемости k. Данный коэффициент позволяет определить трудные, однородные или легкие задания в тесте (k=количество правильно выполненных заданий / общее число опрошенных). Коэффициент k подсчитывается для каждого задания.
Рассмотрите два рисунка (рис.1, рис.2), на которых представлены профили по разным тестовым заданиям. Какой набор тестовых заданий более сложный?
Рис. 1.
Рис. 2.
Тексты для анализа.
Текст 1.
Основные этапы конструирования педагогического теста
Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.
1. Определение цели тестирования, выбор вида теста и подхода к его созданию.
2. Анализ содержания учебной дисциплины.
3. Определение структуры теста и стратегии расположения заданий.
4. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5. Создание предтестовых заданий.
6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7. Экспертиза содержания предтестовых заданий и теста.
8. Экспертиза формы предтестовых заданий.
9. Переработка содержания и формы заданий по результатам экспертизы.
10. Разработка методики апробационного тестирования.
11. Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.
12. Проведение апробационного тестирования.
13. Сбор эмпирических результатов.
14. Статистическая обработка результатов выполнения теста.
15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.
17. Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.
18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.
Вопросы к тексту.
Можно ли в процессе создания теста отказаться от какого-либо этапа? Обоснуйте свой ответ.
Текст 2.
Гуревич, К.М., Борисова, Е.М. Введение в психодиагностику. – М.: Академия, 1998. – 192с.
В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Как пишет А. Анастази (1982), вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу — 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том и в другом случае при повторении эксперимента возможны некоторые расхождения, но важно, чтобы они были незначительными.
Таким образом, можно сказать, что надежность методики — это такой критерий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.
Проверка психодиагностических методик на надежность идет по трем направлениям: 1) проверяется надежность самого измерительного инструмента; 2) проверяется стабильность измеряемого признака, свойства; 3) проверяется константность, т. е. относительная независимость результатов от личности экспериментатора и незначительных изменений в условиях эксперимента. Во всех этих случаях высчитывается коэффициент корреляции, который и является показателем надежности. Надежность тем выше, чем ближе полученный коэффициент корреляции к единице.
Вопросы к тексту.
Что такое надежность методики? Назовите виды надежности.
Текст 3.
Гуревич, К.М., Борисова, Е.М. Введение в психодиагностику. – М.: Академия, 1998. – 192с.
Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает. Проверка валидности методик называется валидизацией. Валидность — комплексная характеристика, включающая сведения о том, пригодна ли методика для измерения того, для чего она была создана, и какова ее действенность, практическая полезность. В первом случае валидность имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Во втором случае валидность уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
Провести теоретическую валидизацию методики — это значит доказать, что методика измеряет именно то психическое свойство, качество, которое она по замыслу исследователя должна измерять. Например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет умственное развитие, а не какие-то другие особенности (личность, характер и т. п.). Такая проверка показывает, насколько замысел автора и результаты методики совпадают…
Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия. Многие авторы чаще всего называют следующие:
1. Валидность по содержанию. Этот прием используется, например, в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3—4 вопроса). Можно ли быть уверенным в том, что правильные ответы наэти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию: проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность по содержанию также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.
Валидность по одновременности, или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними коррелируют результаты успешности по тесту.
Предсказывающая валидность (прогностическая валидность). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-либо оценках способность человека к тому виду деятельности, для которой он оценивался по результатам диагностических испытаний.
4. Ретроспективная валидность. Она определяется на основе критерия, отражающего события или состояние изучаемого качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют успешному обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностическими показателями.
Вопросы к тексту.
Что такое валидность? Назовите виды валидности.
Текст 4.
Определение дискриминативности (дифференцирующей способности) заданий
Дискриминативность обозначает различительную способность задачи. Попытаемся пояснить понятие дискриминативности на примере. Представим себе, что мы провели тестирование группы учащихся. В составе этой группы были отличники, хорошисты и двоечники. Логично предположить, что отличники должны справиться с тестом лучше, чем двоечники. Но выясняется, что с одним из заданий и двоечники, и отличники справились одинаково успешно или не- 1193 успешно. В чем может быть причина такого нелогичного явления? Оказывается, что это бывает только в том случае, когда задание обладает существенными недостатками. Типичными недостатками низкодискриминативных задач являются:
1. Излишняя сложность, запутанность формулировки.
2. Неоднозначность условия.
3. Очевидность решения.
4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест (кроме заданий, где необходима именно работа памяти).
5. Абсурдность, нереальность вариантов ответов.
6. Появление двух и более правильных ответов, не оговоренное в условии.
Действительно, в том случае, если задания обладают перечисленными недостатками, вероятность того, что с ними одинаково справятся (или не справятся) как отличники, так и двоечники, довольно высока. Таким образом, определение дискриминативности необходимо для того, чтобы поставить заслон некачественным заданиям.
Дискриминативность задач определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью.
Иногда, когда говорят о дискриминативности, говорят о внешнем критерии, по отношению к которому она определяется. Для тестов школьных достижений набор этих критериев достаточно ограничен. Во-первых, это школьные оценки. Мы можем ранжировать учащихся по их школьным оценкам. И таким образом выделить группы наиболее и наименее успешных. Однако этот способ может использоваться только в том случае, когда оценки берутся и усредняются по достаточно большому количеству предметов. Школьная оценка имеет несколько составляющих.
Вопросы к тексту.
Как определить дискриминативность заданий?