Кондаков и.М., Романюк э.И., Сорокина о.Л., Шишлянникова л.М. Разработка тестовых заданий для анализа знаний студентов

Оглавление 2

Глава 1. Психодиагностика в свете когнитивных наук 3

1.1. Принципы объективного тестирования 3

1.2. Тесты интеллекта и современная когнитивная психология 6

1.3. Тесты способностей и современная когнитивная психология 8

1.4. Тесты достижений и современная когнитивная психология 12

1.5. Использование моделей когнитивной психологии в тестировании знаний 19

Литература к главе 1 20

Глава 2. Разработка заданий тестов достижений 21

2.1. Содержание тестовых заданий 21

2.2. Формы тестовых заданий 22

2.3. Анализ заданий в тестах достижений 27

Литература к главе 2 28

Глава 3. Обзор основных понятий общей теории педагогических измерений. 29

3.1. Основные принципы построения педагогического теста. 29

История и классификация теорий педагогических измерений 29

3.2. Основные понятия общей теории измерений. 29

3.3. Процедура построения теста. Классификация видов педагогических тестов. 30

3.4. История развития теорий педагогических измерений. 32

IV. Классификация теорий педагогических измерений по В.С. Аванесову: 33

Литература к главе 3 34

Глава 4. Основные психометрические характеристики тестов 35

4.1. Валидность 35

Существуют разные типы и виды валидности: 35

Источники плохой валидности: 36

4.2. Надежность 39

Типы надежности 39

Источники ошибки 41

Советы по улучшению надежности теста: 42

Коэффициенты оценки надежности: 43

Валидность и надежность 44

Построение теста при помощи классической теории тестирования 44

Литература к главе 4 46

Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 47

5.1. Частотный анализ 47

5.2. Тест хи-квадрат 50

5.3. Непараметрические тесты 51

5.4. Корреляции 56

5.5. Факторный анализ 59

5.6. Анализ пригодности 62

Литература к главе 5 65

Литература 66

 

Глава 1. Психодиагностика в свете когнитивных наук

1.1. Принципы объективного тестирования

Психодиагностика должна интегрировать в себе, с одной стороны, определенную предметную область (психологическое явление), с другой, психометрику, описывающую правила применения математики к измерению индивидуальных различий в данной области (как меж-индивидуальных, так и внутри-индивидуальных). При этом процедура психодиагностики должна отвечать репрезентативности (тестовые нормы той популяции, на которой применяется тест, должны соответствовать тестовым нормам выборки стандартизации); надежности (точности и устойчивости процедуры измерения, ее независимости от случайных переменных); валидности (соответствию методики измеряемому конструкту). Среди этих требований ведущим, безусловно, является требование валидности, как точного обращения к тому или иному психологическому явлению.

Профессиональная деятельность как критерий валидности тестов. Валидность теста отвечает на вопрос, что тест измеряет. Именно она выступает гарантией того, что качества, существенные для выполнения той или иной деятельности, станут основой для управленческих решений в рамках аттестации, профессионального отбора и пр.

Если речь идет о профессиональном отборе, то указанные качества чаще всего оказываются собранными воедино в профессиограмме. В случае валидности какого-либо теста речь идет о его соответствии отдельно взятому психологическому качеству, построение же профессиограммы предполагает соответствие батареи измерительных процедур целостной профессиональной деятельности. Профессиограмма выступает критерием валидности профессионального тестирования, на основе которого происходит соотнесение действий и операций, оцениваемых с помощью тестов, с действиями и операциями, входящими в структуру профессиональной деятельности.

Анализ профессиональной деятельности включает в себя три этапа: сбор информации о профессиональной деятельности; обработку и обобщение полученной информации (составление профессиограммы); использование профессиограммы (выбор критериев успешности профессиональной деятельности, подбор тестов для ее оценки и прогнозирования и т.д.).

Информация о профессиональной деятельности может быть получена разными путями. Из наблюдения за деятельностью специалистов можно получить сведения о типах обрабатываемой информации, эмоциональной напряженности, особенностях общения с другими работниками, условиях внешней среды, соответствии реальной работы инструкциям, межиндивидуальных вариациях в выполнении одних и тех же обязанностей. Другим путем получения информации о профессиональной деятельности является беседа со специалистами. Она позволяет использовать многолетний опыт работы специалистов, которые знают примеры успешной и неуспешной работы и понимают факторы, определяющие различия в эффективности профессиональной деятельности.

В качестве критериев профессиональной деятельности могут использоваться различные показатели. Такие как обучаемость профессиональным знаниям и навыкам, показатели деятельности работника, его вклад в результат деятельности всего коллектива, качество и производительность при выполнении трудовых операций, тесты профессиональной подготовленности, административные акты, отражающие профессиональную пригодность (дисциплинарные взыскания, поощрения, продвижение по службе и др.), текучесть кадров, несчастные случаи и происшествия по вине работника, экспертные оценки и самооценки эффективности деятельности и др. По этом дискриминативным критериям должны различаться специалисты с высоким и низким профессиональным уровнем профессиональной пригодности.

В профессиограмме отражаются общие особенности профессиональной деятельности, основные действия и операции, их последовательность и взаимообусловленность, необходимая специальная подготовка, требующиеся знания и навыки, режим труда и отдыха, санитарно-гигиенические условия, характерные психофизиологические состояния (монотония, утомление, эмоциональная напряженность), объем и характер перерабатываемой информации, физическая тяжесть труда, технологические аспекты профессиональной деятельности, используемое оборудование и пр. Важно, чтобы такие описательные характеристики были дополнены количественной оценкой совершаемых действий и операций (восприятие информации, принятие решений, общение, типичные движения и пр.). В частности, за рубежом большое распространение получил опросник Position Analysis Questionnaire (PAQ), предназначенный для оценки 182 элементов профессиональной деятельности, объединенных в шесть категорий: вид предъявляемой информации (например, печатный текст), процесс ее обработки (кодирование), рабочие действия (работа на пульте управления), взаимодействие, общение с другими работниками (речевой обмен), условия труда (уровень шума), прочие характеристики профессиональной деятельности (ответственность за безопасность других участников производства). С помощью этой методики конкретная профессия оценивается экспертами.

Одной из наиболее широких областей применения стандартизованных тестов по критерию соответствия профессии является присвоение квалификации и распределение на работу после завершения курсов профессиональной подготовки. В подобных тестовых программах много места отведено тестам достижений по конкретным областям деятельности (например, по предметам), но не исключено и применение тестов общего типа (личностных и интеллектуальных). Так, примечательная особенность профессиограмм сегодняшнего дня состоит в том, что они включают в себя способность к обучению. Это обстоятельство служит одной из причин того, что во многих сферах профессиональной деятельности хорошо себя зарекомендовал отбор претендентов на основе их когнитивных способностей.

Использование профессиональной деятельности как критерия валидности тестов наиболее ярко проявляется в профессиограммах. Но и в других случаях, когда речь не идет о профессиональном отборе, например, в образовании, она также оказывается задействованной, только в более частной форме.

В образовательных учреждениях (школах, средних специальных образовательных учреждениях, ВУЗах) используются многие типы психологических тестов. Вне зависимости от того, разработаны ли они спе­циально для задач образования или нет, основной акцент при их использовании делается на прогностичности. Т.е. на возможности с их помощью на основе зафиксированного психологического явления делать прогноз дальнейшего, послешкольного или послевузовского, прежде всего профессионального, развития, а также осуществлять коррекцию его осуществления. Как показано, наибольшее прогностическое значение имеют тесты когнитивных способностей (0,53); затем следуют учебные работы (0,44), данные биографии (0,37) и контрольные проверки (0,26); интервью и собеседование имеют наименьшие значения (0,14).

Используемые в образовании психологические тесты можно разделить на два больших класса – диагностические средства, прежде всего тесты, выявляющие операционально-технические составляющие деятельности, и диагностические средства, прежде всего опросники, ориентированные на анализ мотивационно-потребностной сферы деятельности (Табл. 1).

Таблица. 1.