34. Творческие способности и одаренность.

Творчество – создание нового

Признаки творческого процесса:

• Бессознательный процесс. – Как правило, наиболее важные моменты творчества не поддаются самонаблюдению.

• Спонтанность, внезапность, независимость от внешних причин.

Одаренность

• Высокий IQ. • Особые способности: – математика, искусство, лидерство. • Может быть распознана в 18 месяцев. • Способность давать новые ответы • Вариативность решений. • Нацеленность на лучшее решение.

35. Структура интеллектуальной деятельности по я.А.Пономореву.

• Этапы детского развития у взрослого человека закреплены в качестве уровней его интеллектуальной деятельности: – «вверху» — абстрактное, логическое мышление, «внизу» — интуитивная деятельность.

• Процесс творчества тесно связан с этими уровнями.

Схема центрального звена психологического механизма творческого акта по Я.А.Пономореву

36. Тестирование творческих способностей.

Концепция креативности

• Модель интеллекта Дж. Гилфорда.

• Конвергентное мышление (схождение)

– актуализируется когда человеку, решающему задачу, надо на основе множества условий найти единственно верное решение.

• Дивергентное мышление - идущее в различных направлениях».

– Допускает варьирование путей решения проблемы, приводит к неожиданным выводам и результатам.

Тестирование широкого круга качеств личности

• Frasier Talent Assessment Profile (F-TAP)

• Общие способности: – интеллектуальная способность, учебные достижения, креативность, критическое мышление

• Области тестирования – Коммуникационные умения, – Воображение/креативность, – Юмор, – Исследование, – Инсайт, – Интересы, – Память, – Мотивация,т – Решение проблем, – Умозаключения.

37. Конвергентное и дивергентное мышление и их тестирование.

Два типа мышления

Конвергентное

• При решении задачи фактический материал из разных источников объединяется вместе таким образом, чтобы найти «правильный» ответ (наука, математика, технология).

• Это те задания, которые используются в тестах интеллекта.

Дивергентное

• Задачей является широко творческая разработка идей побуждаемых стимулом (искусство и гуманитарные науки).

• Тесты с открытым числом решений, в частности связанные «использованием объектов».

38. Структурно-динамическая теория интеллекта.

• Согласно теории Д.В.Ушакова интеллект понимается как совокупность прижизненно формируемых функциональных систем.

– «Функциональная система» — объединение частных механизмов организма в целостную систему приспособительного поведенческого акта, создание «интегративной единицы».

• Структура интеллекта – взаимосвязь различных его областей (вербальной, пространственной, числовой и т.д.) - выступает как результат взаимодействия трех факторов:

– индивидуально выраженного потенциала формирования интеллектуальных систем,

– «когнитивного пересечения функций» и

– средового влияния, определяющего направление распределения потенциала.

39. Классификация тестов на креативность личности.

1) тесты, жестко регламентирующие деятельность испытуемого. В таких методиках время решения лимитируется, тестовые задания предполагают единственно возможный вер­ный ответ;

2) тесты, слабо регламентирующие деятельность испытуемого. Задания данных методик предполагают вариативность ответов, они построены по принципу открытых тестов, однако при оценке результатов вводится критерий правильности;

3) тесты, не регламентирующие деятельность испытуемого. Данные методики не ограничивают испытуемого временем решения, предполагают полную свободу ответов

40. Эмоциональная креативность и ее тестирование.

Дивергентная креативность

• Способность формировать новые идеи:

– Осуществлять выход за пределы заданного, мыслить вширь и в разных направлениях, видеть необычные атрибуты объекта и др.

• Теория дивергентной креативности и тестовые задания были первично разработаны Дж. Гилфордом.

Эмоциональная креативность

• Способность влиять на структуру и содержание эмоциональных синдромов.

• Генерирование новых идей в отношении эмоциональных явлений.

• Первые теория и практические задания для тестирования были разработаны Дж. Эвериллом.

• Для измерения эмоциональной креативности используются методики типа опросников, основанных на самоотчете, и продуктивные задания.

Тест эмоциональной креативности Ушакова-Ивановой

• Идея теста состоит в том чтобы испытуемый дал как можно больше ответов, объясняющих его необычное эмоциональное состояние в некоторой обыденной

ситуации.

• Д. В. Ушаковым и О. Н. Ивановой были разработаны оригинальные задания:

– Испытуемому дается общее описание некоторой эмоциогенной ситуации, а также обозначается эмоция, которая не соответствует приведенной ситуации.

• Испытуемому предлагается представить ситуацию и дать как можно больше ответов на вопрос, – например:

– Друг вернул вам книгу, но у вас плохое настроение, почему?

Результаты тестирования

• Включают в себя разнообразные ответы в количестве от 1 до 9.

• После классификации смысла ответов экспертом- психологом по качественным отличиям между ними было выделено 17 общих смысловых категорий, в которые попадают различные ответы всех испытуемых в выборке.

– Например, категория «книга испорчена» включает в себя ответы, связанные с разными повреждениями книги

• вырванные листы, рисунки, грязь, запах и др.

– Категория «книга не нужна» включает в себя ответы, связанные с причинами ненужности

• нет времени для чтения,

• уже куплена новая книга и др.

40. Назначение и использование тестов достижений и готовности.

Тесты достижений

• Наряду с тестами интеллекта, специальных и комплексных способностей возник и еще один тип тестов, широко применяемых в обучении – тесты достижения.

• Эти тесты можно назвать и по-другому – тесты объективного контроля успешности

• школьной, профессиональной, спортивной.

• В отличие от тестов интеллекта, тесты достижений отражают не столько влияние накопленного опыта, сколько влияние специальных программ обучения, профессиональной и другой подготовки на эффективность решения специальных заданий.

История развития тестов достижений

• Может быть прослежена с момента смены в Бостонской школе (1845) устной формы экзаменов на письменную.

• Основным достоинством новой формы экзаменационной процедуры считается наличие однотипной ситуации для всех экзаменующихся, позволяющей исключить элементы

случайности при опросе и субъективизм в оценках.

• В Америке тесты достижений используются при отборе сотрудников на государственную службу уже с 1872 г., а с 1883 г. их употребление становится регулярным и постоянным.

• Наиболее значительная разработка элементов техники конструирования тестов достижений выполнена в течение первой мировой войны и сразу после нее.

• Тесты достижений относятся к наиболее многочисленной группе психодиагностических методик по числу конкретных тестов и их разновидностей.

Тесты достижений и тесты готовности

• Предназначены для оценки успешности овладения конкретными знаниями (общие и предметные).

• Широко используются при профессиональной подготовке и отборе, а также в образовании – для контроля уровня подготовленности, оценивания результатов обучения и качества образования.

• К ним относятся также современные педагогические тесты или тесты академических

способностей:

– высоко надежные тесты разработанные в соответствии с самыми тщательными психометрическими стандартами,

– активно используются для оценки знаний и готовности к дальнейшему образованию.

Международные тесты достижений

• Международный тест TOEFL на на знание английского как иностранного языка

– Стандартизованный тест на знание английского языка, сдача которого обязательна для не англоязычных иностранцев для поступления в вузы США и Канады, а также Европы и Азии.

• Национальные программы тестирования

– США, Израиль, Австралия, …

• ACT (American College Testing)

– Стандартизированный тест для поступления в старшие классы или поступления в колледжи в США.

• SAT (Scholastic Aptitude Tests)

– Стандартизованный тест для приема в высшие учебные заведения в США.

• GRE (Graduate Record Examinations)

– Тест, который необходимо сдавать для поступления в аспирантуру, магистратуру или иной последипломный курс в вузы США, Канады и ряда других стран.

Тесты достижений в России

• Первые исследования и публикации – начало 80-х годов прошлого века.

• 90-е – централизованное тестирование – методики разработки заданий и тестов, технология бланкового и компьютерного тестирования.

– Зарождение идеи ЕГЭ (дискуссии «за» и «против»).

• С 2001 г. – эксперимент по единому государственному экзамену

– Федеральный институт педагогических измерений - внедрение тестов в среднюю школу, сборники тестов.

• Тестирование при аттестации вузов

– Центр тестирования профессионального образования (АСТ-центр) – лицензирование и аккредитация ВУЗов.

• Росаккредагенство. Проект Интернет-экзамен. Технологии массового компьютерного тестирования.

• Программы подготовки тестологов

– ФЦТ, РУДН, МИСиС, АСТ-центр, МГППУ и др.

• 2009-2010 – переход на ЕГЭ.

40. Педагогические тесты: свойства, формы тестовых заданийи требования к ним.

Определения педагогического теста

• Аванесов В.С.

– Педагогический тест - система заданий возрастающей трудности, специфической формы, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.

• Челышкова М.Б.

– Педагогический тест - система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информационность оценок уровня и качества подготовки испытуемых.

• Анастази А.

– Тесты достижения предназначены для измерения воздействия теоретических и практических курсов обучения.

– Главное значение в тестах достижений придается тому, что конкретный человек способен делать в настоящий момент.

Требования к тестам

• Технологичность и экономичность с точки зрения изготовления, применения, обработки и анализа результатов.

• Универсальность, т.е. применимость для различного типа школ, не должны зависеть от конкретной программы и учебника.

• Валидность. Тесты должны с определенной заранее известной точностью удовлетворять поставленной цели тестирования.

– Например, достижение требований стандарта образования.

• Надежность. Должна быть заранее определена точность оценок по результатам тестирования.

• Легитимность. Тесты не должны противоречить существующим законам и нормативам.

Проведение тестирования и анализ

• Формирование репрезентативной выборки.

• Применение серии одинаковых тестов к большому числу учащихся.

• Статистическая обработка результатов.

• Определение подходов к интерпретации результатов (эталон оценки).

• Анализ результатов.

Требования к тестовым заданиям

• Валидность – измеряет именно то, что указано, например - соответствие учебной программе, не требовать знаний и умений, кроме тех, что намечены к проверке.

• Объективность – минимально - однозначность ответа, – проблема экспертной проверки.

• Надежность – стабильно дифференцировать сильных и слабых учащихся.

• Эффективность – информационность теста должна быть связана с его длиной.

• Приемлемость – принят всеми заинтересованными сторонами как отражение проверяемых знаний или способностей.

Характеристики тестовых заданий

• Форма заданий в соответствии с типом ответа.

• Авторы.

• Проверяемое содержание.

• Проверяемое умение (деятельность).

• Уровень сложности задания (экспертный).

• Максимальный балл.

• Способ представления информации (доп.).

• Время выполнения задания.

• Статистические характеристики.

Формы тестовых заданий С закрытым ответом:

• с выбором ответа,

• Да/Нет,

• на установление соответствия,

• на установление последовательности,

• на множественный выбор,

• (выбор лучшего ответа).

Со свободно- конструированным ответом:

• с кратким ответом (слово или число).

• с развернутым ответом.

Состав:

• Текст задания.

• Инструкция по выполнению.

• Критерии оценивания.

40. Зарубежные тесты знаний и готовности.

Тесты по итогам обучения

• Как правило, тесты по итогам обучения (их также называют тестами знаний) оценивают степень

информированности или сформированности навыков выпускников.

• Эти тесты в значительной степени ориентированы на проверку фактических знаний и навыков по

отдельному предмету или группе предметов.

• Они призваны оценить и количество, и качество усвоенных знаний в соответствии с той программой, по которой изучался данный предмет.

• Поэтому составители таких тестов стараются включать туда задания, проверяющие усвоение

максимального числа элементов этих знаний на разных уровнях.

Тесты знаний

• Проверяют знания и навыки, которые можно получить за относительно короткий промежуток времени.

• Такие тесты применяются главным образом, чтобы оценить результативность обучения по одному курсу или по целостной программе, а также, чтобы проверить очень специализированную подготовку.

• Очевидно также, что к «тестам знаний» можно подготовиться, заучивая факты и тренируя

стандартные алгоритмы действий.

Примеры тестов знаний

Примерами тестов знаний, используемых в США, могут служить:

• SAT II – тест, используемый на какой уровень обучения по конкретному предмету может быть определен студент после зачисления;

• Advanced Placement (AP) – тест, который позволяет школьникам получать «зачеты» по курсам из университетской программы;

• GRE Предметные тесты – специальный тест по конкретному предмету для поступления в аспирантуру по соответствующей специальности.

Особенности тестов знаний

• Контрольно-измерительные материалы (тестовые задания) для таких тестов довольно легко конструируются

– как в виде заданий с множественным выбором,

– так и в виде заданий (задач) с фиксированным ответом.

• В принципе не требуют от испытуемого сообразительности или креативности.

• Устроены по принципу проверки воспроизведения информации или проверки владения стандартными алгоритмами.

Тесты готовности

• Для прогностических целей используются так называемые тесты готовности (или тесты способностей).

• Они в большей степени призваны оценить работу человека «здесь и теперь» в некой определенной познавательной или психомоторной области.

• Они создаются таким образом, чтобы выяснить потенциальную способность человека в

специализированной деятельности и в условиях ограниченной информации.

Задачи тестов готовности

• Задача таких тестов не оценить его прошлые успехи, а составить картину о возможностях

его/её обучаемости в данной области.

• Понятно, что быстро подготовиться («натаскаться») к такому тесту трудно.

• Составители тестов готовности стараются выяснить состояние навыков, приобретенных

во многих областях за относительно длительные промежутки времени.

Примеры тестов готовности

В США используются следующие тесты готовности:

• SAT I – тест, используемый университетами при отборе абитуриентов на программы бакалавриата;

• GRE Общий – экзамен для поступления в аспирантуру по магистерским или докторским программам;

• GMAT – экзамен для поступления на обучение по программам MBA (мастер делового

администрирования).

40. Стандартизированные тесты для приема в ВУЗ и аспирантуру (SAT, GRE).

Стандартизированные тесты ВУЗов

• Тесты академических способностей - Scholastic Aptitude Tests (SAT), GRE – высоко надежные

тесты разработанные в соответствии с самыми тщательными психометрическими стандартами.

• Состоят из вопросов и вариантов ответов к ним.

• Эталонная (референтная) группа нормы меняется каждый год:

– например эталонная группа для оценок 2003 года была основана на данных экзаменуемых в 1998-2001 годов,

– а эталонная группа для 2004 года - на данных экзаменуемых в 1999-2002 годов.

– По этой причине в зависимости от года одинаковая оценка может иметь (слегка) отличный процентиль.

SAT - Scholastic Aptitude Test

• Учебный тест способностей – Является набором тестов способностей к обучению.

• Совет колледжей США - 400 центров разработки тестов и проведения тестирования, около 2 млн. человек в год по миру.

• Это тест для абитуриентов и студентов младших курсов, решивших дальше учиться в вузах США и

Канады.

• Экзамен оценивает общее знание литературы, истории и математики.

– Колледжи, университеты и программы предоставления стипендий используют эти результаты академической успешности (баллы по экзамену SAT) для понимания того, насколько хорошо Вы подготовлены для продолжения обучения, а также помогают сравнивать академические достижения студентов из разных учебных заведений.

SAT бывает двух видов

• Проверка общих способностей мышления (SAT I, тест на мышление, рассуждение).

– Был создан для проверки математических способностей и умения словесно излагать свои мысли.

– SAT I включает вербальные и математические испытания, оценки которых суммируются для того, чтобы получить полный балл.

• Время - 3 ч 45 мин, с 2005 года – эссе.

• Проверка знаний по какому-либо конкретному предмету (SAT II, предметный тест).

– Имеет тесты в 12 предметных областях -

• 50 вопросов - 60 мин.

– В один день можно сдавать тест максимум по трем предметам.

– Но нельзя в один день сдавать SAT I и SAT II.

Тест SAT

• Математическая часть теста состоит из вопросов по алгебре, геометрии и арифметике, так что кроме умения логически рассуждать проверяется умение считать.

• Устная часть теста состоит из разделов:

– Аналогии - вопросы теста на знание значений слов и умение найти зависимость, т.е. провести аналогию, между парой слов.

– Завершение предложений - вопросы теста на знание значений слов и умение понимать логическую связь между различными элементами предложения.

– Критическое чтение - эти вопросы теста оценивают умение читать и осмысливать прочитанное.

Общий тест GRE (Graduate Record Examinations)

• Тест выпускных экзаменов в ВУЗе.

• Похож на SAT I, т.к. он был создан больше для проверки умения логически рассуждать, а не знаний в какой-то конкретной области.

• Для проверки последних существуют GRE Предметные тесты.

• Этот тест нужно сдать для поступления в аспирантуру в США (то есть на магистерские программы вузов).

• Этим тестом фактически подтверждается степень бакалавра.

• Тест GRE рассчитан на то, чтобы проверить знания и навыки, приобретенные за долгий промежуток времени, и предсказать дальнейшие успехи.

Общий Тест GRE

• GRE является стандартизированным компьютеризированным тестом и имеет 4 раздела:

– Вербальный: 30 вопросов, 30 минут;

– Количественный: 28 вопросов, 45 минут;

– Аналитический письменный: 2 аналитических письменных задания:

• 45-минут – задание «представление Вашей точки зрения по вопросу».

• 30-минут - задание «анализ аргумента».

– Исследовательский.

• Тест ограничен во времени и скорректирован по отношению к угадыванию.

• Тест «адаптирован для компьютера»: вопросы зависят от ответов.

40. Психометрические свойства тестов знаний. Зарубежный опыт и политика тестирования.

психометрические свойства теста - это свойства, обеспечивающие определенный стандарт качества для любой измерительной психодиагностической методики (ТЕСТА). Практически все современные авторы относят к числу П.С.Т. три свойства: НАДЕЖНОСТЬ, ВАЛИДНОСТЬ и РЕПРЕЗЕНТАТИВНОСТЬ. Некоторые авторы зачисляют в число свойств ДИСКРИМИНАТИВНОСТЬ (способность теста различать испытуемых), некоторые - ДОСТОВЕРНОСТЬ (способность теста сопротивляться ИСКАЖЕНИЯМ).

1. Всё ли можно брать из американского опыта?

• Тесты должны быть адаптированы в соответствии с требованиями учета межкультурных различий.

– Культуры разных стран сильно отличаются.

• Пример – четыре основных параметра измерения национальной культуры по Г.Хофстеде.

– Дистанция власти - PDI

• За результат отвечает сам человек или начальник. «Все люди равны , но некоторые из них равнее…»

– Индивидуализм / коллективизм - IDV.

• Отношение к своим и чужим по одной или разным шкалам ценностей.

– Маскулинность / феминность - MAS.

• Забота о себе или забота о других. Жить чтобы работать? или Работать чтобы жить?

– Избегание неопределенности – UAI.

• Что лучше: «Журавль в небе?» или «Синица в руках»?

2. Всё ли можно брать из американского опыта?

Политологи США признают, что

• дети богатейшей страны мира часто оказываются на последнем месте в знаниях

по математике и в заднем эшелоне — в области естествознания в сравнении со

своими ровесниками из других промышленно развитых государств,

• увеличивается число детей из малообеспеченных семей, которые просто-

напросто бросают школу

• значит, образовательная система больна.

Политика тестирования

• Вопрос о тестировании указывает на одно из больных мест американского образования:

– можно ли в такой обширной и разноликой стране, как США (или Россия), с ее резкими контрастами между богатыми и бедными, разработать тесты, которые учитывали бы все культурные и экономические различия учащихся, оценивая не только их достижения, но и

потенциальные способности к обучению?

• Многие аналитики отмечают, что поиск универсального способа тестирования относится к

числу тех близоруких благих намерений, которыми вымощена дорога в ад.

• Однако, других реальных альтернатив развитию массового общества пока нет.

40. Тесты для профориентации. Инвентарь интересов Стронга-Кэмпбелла. Типологический опросник Майерс-Бриггс.

Инвентарь интересов Стронга—Кэмпбелла (Strong-Campbell interest inventory)

И. и. С.—К. (SCII), впервые опубликованный в 1974 г. Дэвидом Кэмпбеллом и Джо-Идой Хансен, представляет собой комбинацию Бланка профессиональных интересов для мужчин (Strong Vocational Interest Blank for Men) и Бланка профессиональных интересов для женщин (Strong Vocational Interest Blank for Women) Стронга в новой редакции. Он содержит 325 вопросов с вариантами ответа «нравится», «безразлично» или «не нравится» в отношении разнообразных профессий, занятий, школьных предметов и типов людей. Тест предназначен для лиц в возрасте от 16 лет и старше.

Редакция 1982 г. включает 162 профессиональных шкалы, 6 общих профессиональных тем (авантюристическая, художественная, предпринимательская, исследовательская, практическая, социальная), 23 шкалы осн. интересов, 2 специальные шкалы (академического комфорта и интроверсии — эстраверсии) и ряд вспомогательных показателей, к-рые применяются для контроля валидности тестовых оценок перед их интерпретацией. Обработка результатов осуществляется только с использованием компьютера. Несмотря на универсальность теста, при интерпретации его результатов используются отдельные нормы для мужчин и женщин, поскольку на профили интересов существенно влияют половые различия.

Назначение И. и. С.-К. — предоставление клиенту, профконсультанту или специалисту по работе с персоналом информ., необходимой для принятия решений при выборе и планировании образовательной и профессиональной карьеры. Показатели в большей мере отражают интересы тестируемого, нежели его способности. Как было показано, люди, выбирающие профессии в соответствии со своими интересами, дольше остаются в выбранной профессии по сравнению с теми, кто выбирает профессии, не связанные с их интересами.

И. и. С.-К. широко признан профконсультантами и консультантами в сфере образования как один из лучших и наиболее эффективных тестов в данной области. Его применение и интерпретация требует привлечения квалифицированных специалистов.

Типологический опросник Майерс-Бриггс (Myers-Briggs Type Indicator, MBTI) - в первую очередь специальный индикатор, дающий возможность профессионально определить свойственные сходства и различия, исследовать интерперсональные взаимосвязи темпераментологических качеств, при этом, типологический опросник Майерс-Бриггс рисует типологический профиль тестируемого. Типологический опросник Майерс-Бриггс имеет много преимуществ по сравнению с другими имеющимися методиками. Основные положения интерпретации, которые отражает полный тест на социотип: 1. Рассчитываются специфические наклонности в воспринимании информации и принятии решений; 2. Выявляются ведушие поведенческие стереотипы и характеристики; Типологический опросник Майерс-Бриггс относится к базовым психометрическим средствам, – поэтому Майерс Бриггс тест имеет широкую отрасль практического применения в т.ч.: 1. В консультационной практике по проблемам карьеры и профессиональной ориентации. 2. В индивидуальном и семейном консультировании. На основании полученных результатов можно сделать вывод о том, что типологический опросник Майерс-Бриггс дает специалистам большие возможности. 

40. Направления современного педагогического тестирования. Цель и особенности подхода.

Теории педагогического тестирования

• Классическая теория тестирования (первая половина 20-го века):

– стандартизация теста на репрезентативной выборке,

– достоинства - простота обработки и интерпретации результатов,

– обладает целым рядом существенных недостатков.

• Современные теории тестирования (вторая половина 20-го века):

– IRT (Item Response Theory) – теория ответов на вопросы,

– ТМППТ – теория моделирования и параметризации педагогических тестов,

– позволяют преодолеть недостатки классической теории тестирования,

– открывают возможности для использования новых технологий тестирования и дополнительного анализа данных.

• В частности - логистические модели Раша и Бирнбаума.

Основные недостатки классической теории тестирования

• Оценки уровня подготовленности испытуемых зависят от уровня трудности конкретного теста.

• Оценки трудности тестовых заданий зависят от уровня подготовленности конкретной выборки испытуемых.

• Шкала первичных баллов является порядковой.

– Никакое преобразование первичных баллов в КТТ не повышает уровня шкалы.

• Методы оценивания надежности требуют существенных ограничений и дают искаженные результаты.

• Ошибка измерения является величиной постоянной для всех испытуемых.

• Не позволяет решить специфические проблемы тестирования.

• Не подходит для компьютерного адаптивного тестирования.

• Уровни подготовленности испытуемых и параметры заданий теста находятся на различных шкалах.

• Невозможно предсказать исход выполнения данным испытуемым данного задания.

Цель тестирования

• Получить объективные оценки уровня подготовленности испытуемых и трудностей заданий теста.

• Объективность оценок подразумевает выполнение следующих двух условий:

– инвариантность оценок испытуемых относительно тестовых заданий, по результатам выполнения которых эти оценки получены.

• Это означает, что при тестировании одного и того же испытуемого различными тестами (с подобной содержательной валидностью) должны получаться близкие, с точностью до погрешности вычислений, результаты;

– инвариантность характеристик тестовых заданий относительно контингента испытуемых, по результатам тестирования которых эти характеристики получены.

• Это означает, что при выполнении одного и того же теста различными группами испытуемых должны получаться близкие, с точностью до погрешности вычислений, оценки трудности тестовых заданий.

• Очевидно, что в рамках традиционной теории тестирования невозможно добиться объективности оценок.

40. Теория ответов на вопросы. Классификация и выбор моделей IRT.

Преимущества современной теории тестирования (IRT)

• Оценки уровня подготовленности испытуемых инварианты относительно тестовых заданий, по результатам выполнения которых они получены.

• Оценки трудности тестовых заданий инвариантны относительно контингента испытуемых, по результатам тестирования которых они получены.

• Ошибка измерения оценивается индивидуально для каждого испытуемого и каждого задания.

• Все параметры заданий и испытуемых находятся на единой шкале.

• Используемая шкала логитов является интервальной, что дает возможность перейти от ранжирования испытуемых и заданий к измерению соответственно уровня подготовленности и уровня трудности.

• Возможен анализ влияния дополнительных факторов на оценки параметров заданий и мер испытуемых.

• Разработаны методы решения специфических проблем тестирования.

• Теория компьютерного адаптивного тестирования базируется на IRT.

Основная цель IRT

• Состоит в разработке математической модели процесса тестирования, параметрами которой, подлежащими определению, служат характеристики участников тестирования и самого теста

– Задача - преобразовать формальные наблюдения за исходом отдельных случайных событий в измерения, то есть непрерывные переменные со значениями на метрической шкале.

– Преобразовать наблюдения в измерения можно только в рамках некоторой математической модели.

• В основе всех моделей IRT лежит функция успеха, определяющая зависимость вероятности правильного выполнения задания (или какой-либо его части) от уровня подготовленности (способности) участника тестирования и параметров задания.

Модели IRT

• Модель определяется математическим выражением для характеристической функции задания.

• Главное отличие между различными моделями IRT– число параметров, используемых для

описания заданий теста.

• Выбор модели – ответственность исследователя.

– Выбор любой модели подразумевает выполнение определенных предположений, которые должны быть проверены.

Классификация моделей по числу параметров

Модели Раша

• Характеристические кривые заданий (в дихотомическом случае) или их шагов (в политомическом случае) отличаются только их положением вдоль оси переменной, – т.е. они параллельны (не пересекаются).

• Трудность задания (или его шага) – единственная характеристика задания, которая влияет на результат выполнения задания данным испытуемым.

Остальные модели IRT

• Характеристические кривые заданий (в дихотомическом случае) или их шагов (в политомическом случае) не параллельны, они пересекаются:

– каждая кривая имеет свой наклон (значения параметра дискриминативности различны).

• Задания различаются по уровню трудности и по дискриминативности.

Многомерные модели

• Требования современной оценочной практики часто выходят за рамки одномерной модели.

40. Однопараметрическая модель Георга Раша.

ОДНОПАРАМЕТРИЧЕСКАЯ МОДЕЛЬ ШКАЛИРОВАНИЯ - частный случай IRT, предложена Г. Рашем. Она устанавливает соответствие между скрытыми параметрами (уровень подготовки испытуемых и уровень ТРУДНОСТИ ЗАДАНИЯ) и наблюдаемыми результатами выполнения теста. В результате работы этой модели определяется вероятность, с которой испытуемый с определенным уровнем подготовки справится с заданиями разной сложности. И наоборот, можно определить, с какой вероятностью испытуемые с разной подготовкой справятся с заданием определенного уровня сложности. Таким образом выбираются задания, лучше всего определяющие уровень развития СПОСОБНОСТИ (уровень знаний). В этой модели учитывается только один параметр, определяющий вероятность выполнения испытуемым задания: разность   - это расстояние, на котором испытуемый i с уровнем подготовки i от задания j (подробнее об этом показателе см.МОДЕЛЬ РАША).

В модели Раша вероятности правильного (соответственно, неправильного) решения тестового задания равны:

Пусть тест содержит n заданий. Трудности заданий δ1, δ2,...,δn предполагаются известными, причем можно считать, что они упорядочены по возрастанию δ1≤ δ2≤...≤δn≤. Введем, кроме того, обозначение χi для характеристической функции, которая равна 1 или 0 в зависимости от того, правильно или неправильно решено i-е задание. Легко убедиться, что в этих предположениях логарифмическая функция правдоподобия равна:

Необходимое условие максимума функции (2), а именно равенство нулю производной по параметру θ, после несложных преобразований приводит к уравнению:

В соответствии с принципом максимального правдоподобия уровень подготовленности испытуемого должен определяться именно из этого уравнения. Но левая часть уравнения (3) является универсальной для данного теста, монотонно возрастающей функцией ƒ(θ), а правая часть равна общему числу правильно выполненных заданий. Отсюда следует, что оценка уровня подготовленности испытуемых в модели Раша зависит лишь от общего числа правильно выполненных заданий, но не от их трудности.