Информационные и коммуникационные технологии в образовании. Учебное пособие для студентов-бакалавров по направлению 540600 (050700.62) — «Педагогика»
.pdfния с использованием вопросников на бумаге или других механических и электрических приспособлений, например, экзамены по Правилам дорожного движения в ГИБДД (ранее ГАИ).
Основу компьютерного тестирования составляют тестовые задания по отдельным учебным темам, совокупность которых может образовывать тесты по предметам или определенным разделам предметов. Сегодня широко используется несколько форм тестовых заданий:
•• закрытая форма;
•• открытая форма;
•• тест-задание на упорядочивание;
•• тест-задание на соответствие.
Наиболее распространена закрытая форма тестовых зада-
ний. В этой форме тестов используется два вида: вопросительный и утвердительный. В первом виде теста (вопросительном) автор теста формулирует вопрос и приводит несколько возможных вариантов ответа. Испытуемый должен выбрать из приведенных вариантов правильный ответ. Сложность выбора правильного ответа на вопрос возрастает с ростом количества вариантов ответов на один вопрос, а также с уменьшением различий между вариантами ответов. Как правило, из нескольких вариантов (не более десяти) нужно выбрать только один. Иногда закрытый тест усложняют, заложив в него несколько правильных ответов. К сожалению, в вопросительной форме теста часто «хромает» формулировка вопроса, заложенного в тест автором: вопрос получается непонятный, либо неоднозначный, то есть допускает различное понимание в зависимости от уровня знаний тестируемого. Естественно, результаты тестирования на основе таких тестов будут не адекват-
ными знаниям испытуемых: каков вопрос, таков и ответ.
Во втором виде закрытого теста автор формулирует утверждение, закончить которое предлагается испытуемому. Такой вид тестов предпочтительнее, так как снижает вероятность неоднозначности толкования тестов. Все варианты окончания утверждения приводятся в тесте, испытуемому нужно выбрать из нескольких предложенных правильный вариант.
151
Менеераспространенаоткрытаяформатестов.Вэтойформе также возможны два вида тестов: вопросительный и утвердительный. Предпочтителен утвердительный вид теста. В открытой форме теста, в отличие от закрытой, варианты ответов не приводятся, а испытуемому предлагается самому набрать правильный ответ с клавиатуры. В этой форме тестов при тестировании появляется масса сложностей, продиктованных отсутствием у компьютера «серьезного» интеллекта. Очевидно, что испытуемый может набрать правильный ответ в виде нескольких вариантов. Например, правильным продолжением утверждения Автором романа «Война и мир» является… могут быть: Толстой; Лев Толстой; Граф Лев Николаевич Толстой и так далее. Значит, в
контрольной части теста должны быть заложены (перечислены) все возможные варианты правильных ответов, что практически нереально, либо использованы средства, выделяющие только правильный ответ и маскирующие все элементы окружения правильного ответа, такие, как Граф, Николаевич и так далее. Чаще всего в компьютерных программных средствах тестирования и используются средства маскирования, то есть при задании правильного варианта ответа полностью приводится только текст правильного ответа (в нашем случае Толстой), а все возможные буквы и слова сопровождения помечаются значком «?» или «*», что означает для компьютера приказ «Не обращать на них внимания!» Возникает вопрос: нужно ли маскировать (не обращать внимания компьютера на…) слово Лев? Если его не замаскировать, то ответ-продолжение Толстой будет расценен как ошибочный, если же его замаскировать, то ответ Алексей Толстой будет расценен компьютером как правильный. Особое место в открытой форме тестов занимает вопрос о грамматических ошибках, описках и опечатках. Следует ли считать правильным ответ с грамматической ошибкой (опиской, опечаткой), если тест не относится к группе тестов по «русскому языку», а, например, по «истории», «физике» и т.п.? Автор теста на этапе его разработки должен поставить и решить для себя этот и другие вопросы. Он должен продумать все возможные допустимые ошибки и «зама-
152
скировать» для компьютера соответствующие проблемные части правильного ответа. К величайшему сожалению, все возможные ошибки не предусмотришь, а значит, результаты тестирования, наряду с оценкой знаний учащегося, могут содержать все, что угодно. В это «все, что угодно» попадут и грамматические ошибкитестируемого,ипробелывзнанияхавторатестов,ивозможные просчеты автора тестов на этапе их составления, и многое другое, не имеющее прямого отношения к цели тестирования. Таким образом, компьютерное тестирование, уже при переходе к его более сложным формам, может сопровождаться рядом сложностей, которых нет у человека-педагога, или, по крайней мере, они легко преодолеваются опытным педагогом, без долгих размышлений и трудоемких операций.
Третья форма тестов — тестовые задания на упорядочива-
ние. Эта форма теста используется для проверки знания учащимся хронологической или технологической последовательности. Тест на упорядочивание очень напоминает закрытую форму тестового задания, только в нем вместо выбора одного правильного ответаизмногих,испытуемыйдолженпоследовательновыбирать наиболее ранние из множества приведенных. В начале теста размещается формулировка требуемой последовательности (задания на упорядочивание), а в самом тесте в произвольном порядке, обычно по вертикали, приводятся события или технологические операции. Испытуемому предлагается проранжировать их, то есть выбрать из них первое (наиболее раннее) событие, затем второе, затем третье и так до последнего. Приведем пример теста для детей начальных классов на последовательность времен года.
Тестовое задание — «Правильная последовательность времен года».Втестевпроизвольномпорядкеперечислены:Зима.Лето. Весна. Осень. Ребенок должен выбрать последовательность. 4. Зима. 2. Лето. 1. Весна. 3. Осень. И при этой последовательности компьютер даст ему оценку Отлично. Хотя, если вдуматься, то почему первой должна быть весна. Только потому, что так учитучительница?ВедьНовыйгодбываетзимой.Начинаетсягод с Января и Февраля — двух зимних месяцев. У древних славян
153
год вообще начинался с 1 сентября, то есть с осени. И вообще, что раньше было: «курица или яйцо?» Проблема этой формы теста заключается в том, что она проверяет не только последовательность, но и начало последовательности. Поэтому, ребенок, предложивший правильную последовательность: Зима, Весна, Лето,
Осень или Лето, Осень, Зима, Весна — будет оценен компьюте-
ром неудовлетворительно. Хотя мы понимаем, что это знающий и думающий ребенок, но не запомнивший, как учит учительница, или возомнивший себя «умнее других».
Четвертой формой теста является тестовое задание на соответствие. Эта форма теста используется для проверки знания учащимся взаимосвязи между заданными парами объектов, размещенными в тесте. Тест на соответствие так же как тест на упорядочивание, очень напоминает закрытую форму тестового задания, только в нем вместо выбора одного правильного ответа из многих, испытуемый должен выбрать и обозначить из множеств приведенных в тесте объектов пары взаимосвязанных объектов. В начале теста размещается формулировка требуемого соответствия (задания на соответствие), а в самом тесте, обычно в две колонки, размещаются объекты; в каждой колонке в произвольном порядке объекты из соответствующей группы объектов, и испытуемому предлагается указать связь между каждой парой объектов. Например, в одной колонке приводятся фамилии авторов сказок, а в другой названия сказок. Ребенок, чтобы получить от компьютера положительную оценку, должен, используя мышку, обозначить связь Ш. Перро — «Красная шапочка», Г.Х. Андерсен — «Дюймовочка» и тому подобное.
Таким образом, тесты на упорядочение и тесты на соответствие, используя специальные формы тестирования, так же, как закрытыйиоткрытыйтестыпроверяютудетейтолькосамыйпервый (простейший)уровеньусвоениязнанияизкогнитивнойсоставляющей классификации педагогических целей, возможно, затрагивают второй уровень — понимание. Компьютерное тестирование более высоких уровней когнитивной составляющей обучения, таких как аффективной и психомоторной, пока еще не проработано и требу-
154
ет своего вклада, как от педагогов, так и от специалистов по разработке компьютерных программ тестирования. Сложность таких тестов заключается не только в постановке вопросов испытуемым, но и в наличии программных средств проверки ответов на задания тестов, позволяющих эффективно учитывать интеллектуальную составляющую обучения и развития ребенка.
Из перечисленных выше опасностей следует вывод, что составлениекомпьютерныхтестовдалеконетакоепростоедело,каким оно кажется на первый взгляд. Компьютерное тестирование радикально отличается от опроса учеников учителем, и результат компьютерного тестирования может отражать совсем другие факторы усвоения знаний учащимися, по крайней мере, не совсем те, которые рассчитывает выявить педагог.
Вместе с тем, современные компьютерные средства тестирования знаний учащихся наряду с конструированием тестов, позволяютгенерироватьразличныепоследовательноститестовыхзаданий: строго последовательно, по возрастанию сложности, случайным образом. Учитель может выбрать различные формы оценивания знаний тестируемых: зачет/незачет, отметка, рейтинг (процентный бал);иливыбратьразличныережимыконтроля:жесткий(строгий), мягкий, самостоятельный контроль. Возможно задание временных ограничений тестового контроля, например, тест должен длиться не более 15, 30 или 45 минут и так далее
Современные компьютерные тесты позволяют работать не только с текстовой (вербальной) информацией, но и включать в тесты другие объекты (картинки, рисунки, фотографии, чертежи и схемы), в том числе и мультимедийные (аудио- и видео-файлы), что крайне важно для начальной школы. Так тест на соответствие может выглядеть следующим образом: в одной колонке объектов в произвольном порядке располагаются картинки из детских сказок, а в другой — названия сказок. Ребенок должен, рассмотрев картинки и самостоятельно прочитав названия сказок,установить соответствие между ними.
Решениеаналогичнойзадачипятилетнимребенкомещевдалеком 1978 году автор наблюдал в обучающей системе «Plato IV» (США).
155
Ребенок обучался английскому языку в мультимедийном режиме.
Обучение заключалось в следующем. На сенсорном экране плазменного дисплея были расположены рисунки предметов, ребенок прикасался пальчиком к какому-либо из рисунков, а компьютер по-английски произносил название предмета. И так ребенок мог многократно прикасаться к изображениям на экране и слышать их названия.
Контроль усвоения учебного материала происходил следующим образом. Изображение на экране было разделено вертикально на две неравные части. В левой части экрана сверху вниз были расположены рисунки: кошка (кот), мышь (крыса), шляпа и так далее Правую часть экрана занимал рисунок горы с входом в пе- щеру.Компьютерпо-английски,вслучайномпорядке,произносил слова — названия нарисованных предметов, а ребенок, должен был пальчиком указать на экране предмет, соответствующий названному. Ребенок прикасался к сенсорному экрану (компьютерныхмышектогдаещенебыло,даинегодятсяонидляпсихологии пятилетних детей) после чего следовала реакция-оценка правильности. Если ребенок указывал на предмет правильно, в правой части экрана ничего не происходило (изначально, правильный ответ не получал подкрепляющего стимула), а если ошибался, то из пещеры появлялась маленькая голова дракона, изрыгающая дым и пламя. Если второй ответ также был ошибочным, то дракон наполовину вылезал из пещеры, если же ответ был правильным, то дракон убирался в пещеру. И так каждое произнесенное компьютером слово и ответ ребенка (прикосновение пальчиком к экрану) проявлялось в борьбе с драконом. Забавно было видеть, как дрожал и скукоживался дракон, каким жалким он становился и как старался забиться в свою пещеру при правильном ответе ребенка, и каким сначала угрожающим, а затем и торжествующим он становился, выбравшись из пещеры, занимая большую часть экрана и готовый наброситься с экрана на ребенка. Прошло тридцать лет, компьютеры и компьютерные технологии претерпели колоссальные изменения, но по-прежнему редко можно встре-
156
тить удачно реализованные компьютерные средства обучения и контроля знаний. Ссылаясь на описанный выше пример, можно утверждать, что в том, реализованном в США тесте знаний, воплощены не только проверка соответствия звучания названия предмета и его изображения, но и включается эмоциональная (аффективная) составляющая ребенка — победившего дракона своими знаниями, стремящегося и побеждающего свое незнание в борьбе с драконом.
Давая характеристику мультимедийных средств контроля, нельзя не остановиться на средствах контроля, используемых в программах, обучающих иностранным языкам, в том числе и разговорному английскому, например, пакет обучающих программ «Мост в английский» (Bridge to English). Одна из составных частей обучения, включенная в этот пакет — обучение правильному произношению английских слов, фраз и выражений. Есть на этом этапе обучения следующая процедура. Обучаемый выбирает слово или фразу, написанную по-английски, и компьютер по команде обучаемого произносит это слово или предложение. Обучающийся слышит предложение, правильно произнесенное диктором по-английски, при этом на экране он видит спектрограмму звучания фразы и надпись-текст произнесенной фразы под спектрограммой (подобно караоке). Затем он сам произносит эту фразу в микрофон и видит на экране спектрограмму её звучания. Далее компьютер совмещает две спектрограммы — образцовую и обучающегося, и последний может сравнить огибающие двух спектрограмм. В ходе обучения возможно многократное повторение и сравнение образцовой и учебной фраз, пока учащийся не добьется максимального совпадения огибающих на графиках диктора и обучаемого.Вэтойобучающейсистеменетникакихдраконов,качество (правильность) произношения контролируется компьютером и представляется учащемуся в графической форме на экране компьютера. Хочется надеяться, что такая форма контроля произношения при достаточной настойчивости обучаемого позволит ему без участия или с минимальным участием учителя выработать правильное произношение английских слов и предложений.
157
Основной тезис в пользу компьютерного тестирования — «его» объективность, то есть инвариантность («безразличие») компьютера к испытуемому. Однако необходимо сознавать, что компьютерное тестирование проводит не объективный компьютер, а субъективный преподаватель — автор тестов со всеми присущими ему (автору) особенностями, достоинствами и недостатками. Меняется лишь форма задания вопросов и оценки ответов, которая наряду с достоинством — бесстрастностью компьютера, обладает целым рядом недостатков. Один из типичных недостатков заключается в следующем: преподаватель, задав вопрос ученику, практически мгновенно и, зачастую, не осознавая того, оценивает — понял ли ребенок поставленный вопрос и, если видит, что в данной формулировке вопрос ученику непонятен, уточняет вопрос, задает его в другой форме. Задавая вопрос, преподаватель добивается того, чтобы ребенок правильно понял поставленный вопрос, прежде чем давать на него ответ. Отсутствие обратной связи (ученик – компьютер), обеспечивающее ту самую объективность тестирования, является серьезным недостатком компьютерного тестирования. То же самое происходит в процессе ответа ученика: экзаменатор, если это необходимо, уточняет правильность ответа дополнительным вопросом в адрес испытуемого.
Кроме того, если все вопросы-тесты подготовлены одним автором, то субъективность тестирования, в значительной мере, сохраняется на том же уровне, на котором она была при традиционном тестировании знаний ученика преподавателем.
Таким образом, для повышения объективности компьютерного тестирования, как минимум, нужно подготовить несколько тестов-вопросов различными авторами и затем обеспечить проверку правильности понимания вопроса испытуемым и согласованности (конкордации) в выставлении оценок знаний учащегося. Процедура проверки правильности работы теста аналогична проверке валидности тестов в психологии.
Несмотря на отмеченные недостатки и ограниченность в применении, компьютерное тестирование имеет и неоспоримые достоинства.Во-первых,такимтестированиемможнорегулярно
158
охватывать 100% учащихся, что невозможно делать при устном опросе учеников в классе, даже используя форму фронтального опроса. Во-вторых, такое тестирование может и должно реализовываться в форме самотестирования учеников, что также немаловажно. Нужно обладать гениальностью Сократа, чтобы самому правильно оценить своё незнание: «Я знаю, что я ничего не знаю, но многие и этого не знают». Часто дети не подозревают о своем незнании или неправильном понимании изученного материала. Педагогически важно своевременно выявить это незнание и устранить его. Регулярное компьютерное тестирование поможет ребенку обнаружить пробелы в своем образовании и простимулирует их устранение самостоятельно или с помощью учителя.
Таким образом, компьютерное тестирование знаний учащихся — важнейший вспомогательный инструмент педагога. Вместе с тем, создание качественных тестов — сложный и трудоемкий процесс, требующий от учителя гибкости и предусмотрительности (очень трудно заранее предусмотреть все возможные варианты понимания детьми вопросов тестов и, соответственно, еще большееколичествовариантовправильныхответовнанихдетей). В данном случае в полной мере проявляется действие закона необходимого разнообразия1, сформулированного английским ученым –нейрофизиологом и кибернетиком Уильямом Р. Эшби [54] ещё в 50-х годах XX века.
Некоторые современные компьютерные тесты достаточно усложнены и содержат элементы, направленные на повышение объективностиоценки.Так,упомянутаявышеАСТхотяииспользует один тест вместо нескольких (то, что при повторном тестировании задаваемые компьютером вопросы меняются — не в счет:
1 Один из отцов кибернетики, психолог Уильям Росс Эшби сформулировал закон необходимого разнообразия (Ashby's Law of Requisite Variety): «Чтобы управление системой было возможно, разнообразие управляющих действий должно быть не меньше разнообразия возмущений на входе в систему». На бытовом языке это значит, что сложность можно победить только тем же,
как минимум, уровнем сложности. http://www.econfin.ru/rus/library/libmanage/ management/index.php?3212
159
не меняется алгоритм оценки, да и повторное тестирование не используется), в конечной оценке знаний индивидума опирается на средний уровень группы испытуемых (проверяет конкордацию оценок группы испытуемых, а не оценок экзаменаторов, что тоже неплохо).
Теперь рассмотрим трудности и особенности тестирования отдельных предметов. Надо отметить, что чем менее формализован предмет, чем он более гуманитарен, тем сложнее его компьютерное тестирование [45] .
Главный фактор компьютерного тестирования — требование однозначности ответа на вопрос теста. В компьютерных тестах вопрос должен быть так сформулирован, чтобы он не допускал двусмысленного его толкования и, соответственно, имел единственный бесспорно правильный ответ. Такому условию отвечает проверка знания таблицы умножения: «Сколько будет 2х2?» Ответ единственный –«4», а не «3» и не «5» и так далее
К сожалению, нет никакой уверенности, что среди испытуемых не найдется вундеркинд, увлекающийся алгеброй, который поймет вопрос как «Сколько будет 2 «икс» 2» и надолго задумается. Результат тестирования слишком умного ученика будет отрицательным. Достаточно вспомнить Чеховскую оценку
«renyxa»1.
Таким образом, компьютерный контроль знаний даже для очень конкретных дисциплин весьма опасен, что же говорить о многих естественно-научных (например, ботанике, биологии и т.п.) и, тем более, гуманитарных (история, философия, культурология и так далее) дисциплинах. В таких тестах можно проверить только знание некоторых фактографических сведений: «В каком году…?», «Как звали …?», «Кто сказал….?» и т.п.
И ответ на такие тесты чаще всего будет выбором из нескольких заданных вариантов-ответов. Эффективность такого теста не слишком повышается, если авторы заложили в предложенные
1 В одном из рассказов А.П. Чехова описывается, как некий гимназист получил за контрольную по латинскому языку оценку «renyxa». После долгих и разнообразных попыток взрослых перевести оценку «renyxa» с латыни на русский, выяснилось что эта оценка ничто иное, как русское «чепуха».
160