3.7. Оперативное тестирование знаний

+

Практичность и высокая стандартизация — эти свойства тестов привлекают все больше специалистов-педагогов, желающих применить этот метод для оперативного контроля уровня знаний учащихся в классе. Возможности оперативного создания таких «подручных» тестов особенно возрастают с распространением вычислительной техники и появлением в школах компьютерных классов, в которых можно быстро и эффективно провести групповое тестирование уровня знаний учащихся средних и старших классов.

Но за внешней простотой подобных тестов скрываются определенные технологические особенности, которые должен знать каждый учитель-предметник. Прежде всего качество этих тестов зависит от качества отдельных тестовых заданий. Таким образом, разработка тестовых заданий требует не только глубоких знаний предмета, не только дидактического опыта, но и специальных знаний и навыков в области теории и практики составления самих тестовых заданий. Эти знания позволяют сделать задания достаточно разнообразными по своим структурным и логическим свойствам. Эти знания и умения позволяют тестировать не столько «ДЕКЛАРАТИВНЫЙ» уровень поверхностных знаний, основанный лишь на ассоциативных связях «ключевых» слов, но и более глубокий уровень реально ценных «ОПЕ-РАЦИ0НАЛЬНЬ1Х» знаний, позволяющий реально использовать полученные знания на практике.

Итак, неквалифицированные тестовые задания апеллируют, как правило, к АССОЦИАТИВНОМУ МЫШЛЕНИЮ, которое удовлетворяется поверхностным заучиванием (зазубриванием) связей между

■

320

Практические задачи школьной психодиагностики

определенными ключевыми словами. Они не достигают уровня собственно КОНЦЕПТУАЛЬНОГО, или операционального мышления, которое оперирует глубокими логическими связями между понятиями и правилами их применения к анализу реальных объектов, фактов и событий. Профессионально составленные тестовые задания также содержат поверхностные ассоциативные связи, но... в качестве провокационных мнимых правильных ОТВЕТОВ-ДИСТРАКТОРОВ (ключевые слова упоминаются в фальш-альтернативах даже более активно, чем в истинных ответах, но в бессмысленных сочетаниях). Ниже для иллюстрации приводятся два примера тестовых заданий — неудачный (а) и удачный (б). Использовались примеры реальных заданий из книги «Тесты. История России» (М.: Школа-пресс, 1993).

А. Какая формула была провозглашена теорией официальной народности в России в XIX веке?

[1] «православие — самодержавие — народность»

[2] «Москва — третий Рим»

[3] «Россия для 'русских».

Здесь в правильном ответе [1] буквально повторяется то же самое слово «народность», которое упоминается и в условии к тесту. Любой учащийся без специальных знаний, но с элементарным здравым смыслом безошибочно определит правильный ответ.

Б. Что явилось для Англии предлогом ухудшения отношений с Россией в конце 1840-х гг.?

[1] отказ России от выполнения своих обязательств как члена Священного союза;

[2] повышение российским правительством таможенных пошлин на английские товары;

[3] подавление русскими войсками венгерской революции.

Здесь правильный ответ [3] трудно определить из «общих соображений здравого смысла» (хотя к нему и может подвести точный учет смысла слова «пред-

11. Основы психодиагностики

321

Основы психодиагностики

лог» в условии). С точки зрения логики буквального ассоциативного мышления более непосредственной причиной недовольства англичан может казаться та фалып-альтернатива [2], в которой прямо и открыто обозначены интересы Англии или более косвенно [1] (впрочем, последнее верно только для тех учащихся, которые знают о том, что такое Священный союз).

ПСИХОЛОГИКА ИСПЫТУЕМОГО

Наличие набора возможных ответов провоцирует у испытуемых, совершенно не знакомых с предметом, стремление «угадать» правильный ответ на основе интуиции.

Умелые разработчики тестов знают типовую «ПСИХОЛОГИКУ» поведения испытуемых, выполняющих тесты, и «ловят» невеж, провоцируя выбор ложного ответа, обладающего внешней правдоподобностью- Психологику можно описать как совокупность рациональных и иррациональных (основанных на приметах) стратегий поведения. К числу типичных мнимо разумных стратегий поиска правильного ответа следует отнести (кроме указанной выше стратегии ассоциативного правдоподобия):

1) «Выбирай «золотую середину». Например, если даны три числа, то испытуемый ожидает, что автор задания дает ему возможность сделать два типа ошибок «недооценка» и «переоценка», и с меньшей вероятностью испытуемый полагает, что правильный ответ может быть крайним. В этом смысле про датировку Куликовской битвы более удачным следует считать такой перечень вариантов: 1380, 1390, 1480.

2) «Выбирай более развернутый и аргументиро-322

Практические задачи школьной психодиагностики

ванный ответ, учитывающий частные случаи». Для того чтобы запутать такого испытуемого, следует маскировать правильный ответ под более внешне простую формулировку, а ложный ответ — под более развернутую. Пример:

Что такое автократия?

— самодержавие,

— рабовладельческая республика, в которой президент избирался из числа видных рабовладельцев-аристократов.

3) «Выбирай более наукообразный ответ из иностранных и малопонятных слов». Пример преодоления:

*

Как называется деталь самолета, с помощью которой обеспечивается подъемная сила?

— крыло,

— фюзеляж.

т • * t

4) «Выбирай ответ, который напоминает что-то знакомое». Невежи думают, что учителя хотя бы раз упоминали и пытались вдолбить им в головы то, что звучит в формуле возможного правильного отве-та. Пример преодоления:

Как А. С. Пушкин охарактеризовал восстание Е. Пугачева? >

— «дубина народной войны»,

— «бунт, бессмысленный и беспощадный».

5) «Выбирай ответ, который соответствует общим ожиданиям». Конечно, понятие «ожидания» не является строгим. И в частных случаях ожидания срабатывают по-разному. Но в целом, руководствуясь твердым знанием о стереотипных ожиданиях

323

Основы психодиагностики

учащихся, можно составить вопрос. Например, эффект предыдущего вопроса основывается на том, что учащиеся ожидают от Пушкина положительного отношения как к фигуре Пугачева, так и к делу его жизни — восстанию- Многие ожидания строятся на базе стремления к преодолению когнитивного диссонанса. Например, трудно предположить, что еще за несколько дней до начала самой кровопролитной войны Сталин поддерживал с Гитлером отношения стратегического партнерства. Пример вопроса:

■

В какую страну экспортировал Советский Союз стратегическое сырье для сталелитейной промышленности (никель, молибден) накануне вторжения гитлеровской Германии в 1941 году?

— в Великобританию?

— в США?

— в Германию?

*

ЛОГИКО-СЕМАНТИЧЕСКАЯ КЛАССИФИКАЦИЯ ЗАДАНИЙ

Ниже приведем перечень типов тестовых заданий по логической структуре.

1. Фактологический вопрос по модели «Что-кто-где-когда?»

■

В какой стране царь Петр Великий учился корабельному делу:

— в Голландии;

— в Англии;

— в Германии.

■

2. Функциональный (целевой и причинный) вопрос по модели «Для чего-зачем-почему?»:

324

Практические задачи школьной психодиагностики

Для чего Петр поехал в Голландию?

— жениться,

— отдохнуть,

— учиться корабельному делу.

Данный пример указывает на ретроспективно-историческую «целевую причинность» и в этом смысле может считаться таким же фактологическим, как и предыдущий вопрос. Заданный в актуальном плане такой, вопрос позволяет раскрыть понимание более глубоких функциональных связей вещей, чем простой фактологический вопрос, апеллирующий к обыкновенной памяти. Пример:

Чему служит карбюратор в автомобиле?

— охлаждению двигателя,

— приготовлению горючей смеси,

— распределению зажигания.

3. Структурный вопрос по модели «Из чего?» (или из каких частей состоит?).

Базовый комплект персонального компьютера состоит из:

— процессор, оперативная память, дисковод, монитор, клавиатура;

— процессор, оперативная память, дисковод, монитор, клавиатура, принтер;

— процессор, оперативная память, дисковод, монитор, клавиатура, модем.

4. Концептуальный вопрос по модели «Определи понятие». Пример:

Прямоугольник — это:

— четырехугольник, у которого противоположные стороны параллельны;

325

Основы психодиагностики

— многоугольник, у которого все углы прямые;

— четырехугольник, у которого все углы прямые,

_чг 5. Концептуально-ассоциативный вопрос по модели «Заполни пропуск». Пример:

Щелочь при соединении с ... дает соль.

— с щелочью,

— с солью,

— с кислотой.

6. Концептуально-аналитический вопрос по модели «Проведи аналогию». Пример:

■

Человек так относится к классу млекопитающих, как крокодил относится к классу...

— земноводных,

'■ — пресмыкающихся,

— динозавров.

■ С помощью аналогии производится транспозиция не только родо-видовых отношений, но вообще любого типа отношений, Например, это может быть отношение родства:

Шурин так относится к Свояченице, как деверь относится к ... ^;

— золовке,

— невестке,

— свекрови.

■ * * •

7. Задание по типу «Продолжи ряд». Пример: «Екатерина II, Александр I, Александр II...» .

— Александр Ш,

— Николай I,

— Николай П.

326

Практические задачи школьной психодиагностики

8. Концептуально-семантическое задание установления смысловой эквивалентности или близости. Например, ниже -приводятся три политические позиции по аграрному вопрору в вдсской революции, надо найти две эквивалентные по своим'политическим последствиям:

1) Землю отнять у помещиков (если будут сопротивляться, то насильственно) и поделить между крестьянами.

. 2) Землю отнять у помещиков и национализировать.

3) Землю отнять у помещиков и передать «колхозам», во главе которых поставить присылаемых из областных и районных центров председателей.

*

Варианты ответов: . .

— эквивалентны 1 и 2;

— эквивалентны 1 и 3;

— эквивалентны 2 и 3.

_в *

9. Проблемно-операциональное задание «Реши задачу». В условиях сообщаются такие данные, которые благодаря жестким и однозначным связям и законам в принципе позволяют восстановить неизвестное. Конечно, это наиболее глубокий тип заданий, но, к сожалению, в краткой форме он может быть использован лишь для тех областей знаний, которые характеризуются высокой степенью формализации отношений между объектами (понятиями). Это математика, физика, химия.

Конечно, приведенный выше перечень следует считать далеко не полным рабочим ориентиром для начинающего разработчика тестов. В каждой предметной области специалисты наверняка назовут ряд специфичных приемов для построения заданий, опи-

327

Основы психодиагностики

рающихся на специфику структуры знаний в данной области.

ТЕМАТИЧЕСКАЯ РЕПРЕЗЕНТАТИВНОСТЬ

Задания не должны быть случайными или неравномерно разбросанными по карте знаний в данной предметной области. Оригинальность задания должна достигаться за счет использования оригинальной логической структуры для хорошо известного и основополагающего вопроса, а не за счет избитой логической структуры для вопроса совершенно экзотического, частного и не имеющего фундаментального значения. Для того, чтобы добиться представительности набора заданий (варианта теста) по отношению к тестируемой области, следует воспользоваться простым приемом — составить план в виде таблиц:

Тема\Тип	Понятия	Принципы	Факты	Задачи
Тема!	*	*	*	*
Тема 2	*	*	*	*
Тема К	*	*	*	*

На пересечении строк и столбцов в клеточках X данной таблицы надо проставить номера составленных вами заданий. Тогда вы увидите, какие темы освещены менее других и какие логико-семантические типы заданий следует специально разработать и добавить для определенных тем.

■

Кроме обеспечения тематической сбалансированности, в тесте учебных достижений следует предусмотреть, чтобы ни одно из заданий теста не служило подсказкой для ответа на другое задание.

328

Практические задачи школьной психодиагностики

ТРУДНОСТЬ ЗАДАНИЙ

Составитель заданий к тестам не должен забывать, что тестовые задания по своей трудности есть нечто противоложное так называемым творческим» или «олимпиадным», заданиям. Если для «олимпиад» уместны трудные задания, позволяющие дифференцировать прежде всего лучших от самых лучших, то для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных («середнячков»). Кроме того, следует учесть, что тесты даются с ограничением времени: на 20 заданий отводить целесообразно не более 10 минут. Лучший балл здесь показывает тот, кто уверенно и быстро применяет базовые знания, кто способен показать хороший умственный темп, высокую степень автоматизации основных навыков, «свернутость» понятий и умственных операций. Хороший ориентир в том, какой трудности должны быть тестовые заданий, может быть сформулирован так:

БЕЗ ОГРАНИЧЕНИЙ ВРЕМЕНИ ОТЛИЧНИК ДОЛЖЕН УМЕТЬ ОТВЕТИТЬ НА ВСЕ 100 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ, НО ПРИ ОГРАНИЧЕНИИ ВРЕМЕНИ ОТЛИЧНИК СО СРЕДНИМ УМСТВЕННЫМ ТЕМПОМ ДОЛЖЕН ОТВЕТИТЬ ТОЛЬКО НА 70—80 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ.

Самый эффективный метод выяснения трудности заданий — проведение пилотажного эксперимента. К этому эксперименту можно, например, привлекать учеников из более старшего класса, для которых он может стать хорошим поводом повторить материал и выяснить пробелы перед экзаменами.

Скорость ПИЛОТИРОВАНИЯ теста и расчета трудности заданий значительно возрастает, если учи-

329

Основы психодиагностики

тель располагает компьютерным классом и специализированной программой для оперативного тестирования, такой, например, как ТЕСТАН («Гуманитарные технологии», МГУ). При помощи специализированного редактора-формуляра ^атой программы легко ввести в компьютер сами тексты заданий, тесты вариантов ответа, ключи, интерпретационные сообщения. Копирование с дискету на дискету (или встроенные диски компьютеров) -*- самый быстрый и доступный метод размножения теста. В любой момент после сбора группы протоколов можно включить режим обработки данных и расчета тестовых норм. Тренин-говый режим программы позволяет тут же выдавать на экран объяснения для ученика, допустившего ошибку.

Ключевые термины: декларативные знания, операциональные знания, ассоциативное мышление, концептуальное мышление, ответы-дистракторы, психологика испытуемого, логико-семантическая классификация заданий, тематическая репрезентативность, пилотирование трудности заданий.