Лекция №4 тема: автоматизированный тестовый контроль. Обработка теста

Контроль уровня знаний является важной составной частью процесса обучения. Он обеспечивает обратную связь в системе «обучаемый – педагог». Контроль знаний выполняет в учебном процессе контролирующую, обучающую, диагностическую, воспитательную, мотивирующую и другие функции. Для управления процессом обучения на различных этапах, контролирующий специалист должен постоянно иметь сведения о том, как учащиеся воспринимают и усваивают учебный материал.

Контроль с точки зрения преподавателя — длительная и трудоемкая часть работы. Облегчить и систематизировать ее можно путем использования так называемых инструментальных программных средств. Проблема реализации связанных с контролем функции распадается на три направления — функции подготовки к контролю, функции проведения контроля и функции обеспечения обратной связи в процессе обучения. Набор инструментальных средств, связанных с логикой и идеей, может составлять инструментальную систему. Использования компьютерной инструментальной системы контроля выступает как средство реализации системы компьютерного контроля.

Проконтролировать деятельность учащихся можно при наличии специальных контролирующих тестов. Тесты представляют собой особого вида задания, позволяющие групповым способом оперативно проконтролировать степень усвоения знаний и приобретения умений и навыков учащимися на занятиях теоретического и производственного обучения, установить внутреннюю и внешнюю обратные связи, на основании которых учащиеся и преподаватель осуществляют функции управления процессом обучения. Тестирование давно уже появилось в педагогике как метод контроля знаний, в психологии как метод диагностики, в профессиональном отборе.

Традиционные и известные на протяжении тысячелетий, методы контроля знаний обучаемых не способны эффективно и точно выявлять качество знаний. Более того, они вообще не способны дифференцировать их по уровню знаний между собой. Так в средних и высших учебных заведениях России практически используется трехуровневая оценка (удовлетворительно, хорошо и отлично).

Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний учащихся с тестированием сравниться не может.

В настоящее время тенденция к автоматизации контролирующих функций преподавателя наметилась во всех развитых странах. Так как традиционный способ проверки знаний значительно уступает при сравнении с автоматизированным, так как носит эпизодический, субъективный и фрагментарный характер. Экспериментальные исследования показывают, что оптимальным является 6–8 циклов текущего контроля, что обеспечивает высокую успеваемость студентов. И достигнуть многоэтапного контроля можно лишь с помощью автоматизированных (компьютерных) систем, позволяющих осуществлять более всесторонний и полный анализ качества знаний у обучаемых. Кроме того, возникает возможность оперативно обрабатывать результаты контроля без дополнительных затрат времени преподавателя, что обеспечивает рациональное планирование учебного процесса.

В последние пять лет, с широкомасштабным внедрением компьютерных технологий решение задачи контроля знаний выходит на качественно новый уровень. Преимущества компьютерного тестирования позволяют считать, что такая форма проверки является одной из оптимальных средств повышения уровня полноты, достоверности и многоаспектности контроля знаний.

Помимо качества содержания теста важным в настоящее время является иллюстративные возможности представления материала (графики, рисунки, видеоролики, звуковые фрагменты и др.). Мультимедийные технологии уже сегодня находят применение в преподавании и в целом должны рассматриваться как приоритетное направление в учебном процессе на современном этапе. Наряду с получившими широкое распространение компьютерными тест-системами для контроля и оценки теоретических знаний и практических навыков все большее внимание привлекают тестовые системы с использованием мультимедиа.

Конечно, процесс создания подобных систем достаточно сложен и требует одновременного решения многих проблем, в первую очередь, психолого-педагогических и программно-технических. Однако эти недостатки не являются критическими и их можно успешно устранить или свести к минимуму.

В настоящее время появляется множество компьютерных программ, служащих для проведения тестирования. Существует как множество продуктов (в том числе мультимедийных), с готовыми тестовыми заданиями, так и программы-оболочки для самостоятельного создания тестов. Существует ряд инструментальных программ, созданных отечественными и зарубежными специалистами. Разработанные на их основе компьютерные тесты обладают свойствами, присущими подобным системам: адаптивностью, открытостью, стандартностью, возможностью ее расширения и наращивания, способностью осуществлять индивидуальный и групповой контроль знаний студентов и др.

Однако, несмотря на обилие на рынке всевозможных программных продуктов, обеспечивающих тестирование, ни один из них нельзя назвать универсальным и приемлемым для непрограммирующих пользователей, которым и предназначен подобный программный продукт. Ориентация на непрограммирующих пользователей – ключевое требование к подобным системам. Возможность работы с системой любому преподавателю, владеющему компьютером на уровне пользователя, инициирует массовую самодеятельность педагогов – носителей конкретного предметного знания. Кроме того, существующие тестовые программы, как правило, рассчитаны на узкий круг специалистов или область знаний. Существенным недостатком также является то, что существующие программы-генераторы тестов не допускают модификации структуры теста после сборки и компиляции отдельных тестовых блоков.

Таким образом, можно сделать следующие выводы.

К концептуальным вопросам информатизации сферы образования целесообразно отнести вопрос создания системы компьютерного тестирования, позволяющей активно влиять на образовательный процесс, способствовать эффективному усвоению учебного материала, и используемой, с одной стороны, преподавателем для промежуточного и итогового контроля знаний и, с другой стороны, обучаемым для самооценки уровня своей подготовленности в процессе самостоятельной работы.

В свете сказанного выше, одной из первостепенных задач информатизации образовательного процесса является организация автоматизированного тестирующего комплекса, как вспомогательного средства контроля знаний. Тестовая система за счет своей универсальности представляет собой автоматизированную поддержку самостоятельной работы студентов, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

Классификация компьютерных тестов.

1. Тесты обученности применяются на всех этапах дидактического процесса. С их помощью эффективно обеспечивается предварительный, текущий, тематический и итоговый контроль знаний, умений, учет успеваемости, академических достижений.

2. В зарубежных странах в практике контроля нередко используются так называемые тесты успешности, которые включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. При этом используются два вида заданий:

а) требующие от учащихся самостоятельного составления ответа (задания с конструктивным типом ответа);

б) задания с выборочным типом ответа. В последнем случае учащийся выбирает из числа предъявленных ответ, который он считает правильным.

При создании тестов контроля знаний можно руководствоваться и другими классификациями видов тестов. Обычно используется деление их на:

1) тесты "достижений";

2) стандартные тесты "достижений";

3) тесты умственных способностей;

4) тесты наклонностей;

5) прогностические тесты;

6) критериально-ориентированные тесты;

7) тесты развитых способностей.

В системе российского образования используются педагогические тесты.

Педагогический тест - это совокупность взаимосвязанных заданий, позволяющих точно и качественно оценить знания, умения и другие интересующие педагога характеристики.

Разработка теста включает в себя следующие этапы:

1. Замысел. Основой замысла теста является знание предмета, определение целей и условий его применения.

2. Цели. Четко формулируются дидактические задачи, решение которых предусматривает использование теста.

3.Условия применения. Определяется контингент, подлежащий тестированию, объем знаний, время и место тестирования.

4. Анализ содержания. Проводится отбор учебного материала и, в зависимости от важности разделов, примерная процентная раскладка заданий по разделам.

5. Определение вида тестовых заданий. Используются тестовые задания разных видов в зависимости от темы, раздела, концепции разработчика, а также от уровня усвоения.

6. Экспертиза подготовленных заданий. Целью экспертизы является установление, с привлечением квалифицированных специалистов, возможности достоверного определения с помощью предлагаемых тестовых заданий различий в знаниях испытуемых.

7. Эмпирическая проверка теста. Проверке подлежат все тестовые задания.

8. Статистическая обработка результатов. Рассчитываются показатели трудности, валидности (качества), надежности.

9. Корректировка заданий теста. В зависимости от уровня усвоения и сложности, тестовые задания подразделяют на следующие виды.

Тестовое задание включает в себя:

а) констатирующую часть, описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо активных действий;

б) процедурную часть, содержащую предложения обучаемому выполнить какие–либо конкретные действия — выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть — это такой вид информации, после получения которой от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

в) элементы самого выбора.

Основными формами тестовых заданий являются: задания открытой формы (подстановка, конструктивный, типовая задача), закрытой (опознание), на соответствие (различные), на ранжирование (классификацию), ситуационный (нетиповые задачи), на установление правильной последовательности.

Тестовые задания открытой формы должны отвечать следующим требованиям: 6

• дополняющее слово или словосочетание ставится в конце и должно быть единственным;

• дополнять надо только важное;

• желательно, чтобы при формулировке задания дополнение было в именительном падеже;

• все прочерки для дополнения должны быть одинаковой длины;

• желательно дать обучаемому образец ответа.

Закрытая форма тестовых заданий должна отвечать следующим требованиям: 6

• равная правдоподобность элементов;

• желательно, чтобы все элементы выбора были равны по длине;

• в элементах выбора желательно использовать один объект или равное количество объектов;

• необходимо исключить повторяющиеся слова в ответах;

• все элементы должны быть верными утверждениями, но только один из них является верным ответом на данное задание, а остальные могут являться верными на другие задания в этом тесте или в других тестах.

Тестовое задание на соответствие содержат два множества, правый столбик — для выбора, левый — для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

В тестовых заданиях на установление правильной последовательности может быть избран принцип формирования элементов по алфавиту. Если алфавитный список является верным ответом, то элементы располагать случайным образом.

Методы оценки критериев качества тестов. Это надежность и валидность. Надежность — устойчивость результатов теста, получаемых при его применении. Валидность — пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов.

По классификации существуют тесты, ориентированные на норму (рейтинг по сильным — слабым студентам) и тесты, ориентированные на критерий (сортировка по трудным — легким заданиям).

По характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами).

По степени однородности задач тесты бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

По целям использования тесты подразделяются: тесты используемые в начале обучения; тесты на прогресс и трудности в процессе обучения; и тесты на достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

Оценка тестовых заданий может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы — 1 балл, не сделал — 0 баллов).

По степени трудности задания могут быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N.

Каждый тест имеет оптимальное время тестирования — время от начала процедуры тестирования до момента наступления утомления. Это время от 20 до 120 минут. Время обдумывания одного вопроса тоже разное. Для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть уточнены.

Рассмотрим виды тестовых заданий.

1. Тестовые задания закрытого типа используются в тех случаях, когда один из ответов является точным или когда только один ответ может быть правильным, а остальные близки к правильному, похожи на него, но в действительности неправильные.

Прuмер.

1. Среди перечисленных наборов средств выберите тот, который наиболее полно характеризует систему мультимедиа.

1) текст, графика, музыка;

2) графика, мультипликация;

3) текст, графика, мультипликация, музыка, видео;

4) текст, мультипликация, музыка.

Эталон: 3

2. Тестовые задания на соответствие (на ассоциативные связи) позволяют оценивать знания фактов в их взаимосвязи, знание терминологии, понятий. Задание располагается в виде двух колонок. Одна колонка цифровая, вторая - буквенная. Испытуемому требуется определить соответствие их друг другу. Количество вопросов не более пяти. Ответов может быть больше, чем вопросов, чтобы избежать подгонки. Такие задания могут объединять значительное количество контрольного материала, их иногда называют синтетическими и включают в итоговые и заключительные тесты.

Пример.

Установите соответствие.

для записи:

1) одного двухцветного неподвижного полноэкранного изображения требуется

2) одной секунды полноцветного видеофильма требуется

3) одной секунды звуковой 16 битовой информации требуется

а) 23 Мб б) 150 Кб в) 80 Кб

Эталон: lб, 2а, 3в

3. Тестовые задания на ранжирование позволяют проверить знания последовательности проведения определенных операций, процессов, этапов.

Пример.

Установить последовательность:

1) Animator Рro;

2) программное обеспечение;

3) мультимедиа;

4) анимационные программы.

Эталон: 2, 3, 1, 4

4. Тестовые задания открытого типа требуют произвольного ввода символов с клавиатуры.

Пример

Термин, обозначающий одновременно использование различ­ных средств отображения и передачи информации?

Эталон: мультимедиа

5. Тестовые ситуационные задания позволяют выявлять умения обучающихся применять свои теоретические знания на практике при решении конкретных задач. Ситуационное задание состоит из информационной и вопросительной части. Информационная часть должна содержать все данные, необходимые для ответа на задания вопросительной части. Последняя, в свою очередь, может включать задания любого из приведенных выше видов.

Пример.

Ситуация (условие задачи).

Компьютерная техника требует обеспечения некоторых параметров, без которых работа с мультимедиа затрудняется. Это связано с тем, что синтезированные изображения занимают большие объемы памяти, при этом они должны выводиться на экран и обрабатываться достаточно быстро. Определите эти параметры.

Задания к ситуации (требования задачи)

Задание 1.

Среди перечисленных выберите мультимедийные компьютеры:

1. Macintosh;

2. Pentium;

3) Yamaha;

4) IВM РС/XТ.

Эталон: 1, 2

Задание 2.

Из перечисленных типов мониторов выберите соответствующий мультимедийному компьютеру:

1. CGA;

2. EGA;

3. VGA;

4) SVGA.

Эталон: 4

Задание 3.

Укажите минимальный объем ОЗУ, позволяющий реализовать мультимедиа:

1) 1 Мбайт; 2) 16 Мбайт; 3) 4 Мбайта; 4) 8 Мбайт.

Эталон: 4