Основные направления совершенствования контроля и оценки уровня подготовки учащихся. Монография
.pdfренциях, решении задач повышенной сложности); дополнительными баллами целесообразно также поощрять своевременное выполнение учащимися учебных и контрольных заданий, а также активное участие в практических и семинарских занятиях.
С помощью рейтинга всегда виден «статус-кво» данного учащегося на фоне всей группы, и легко определить, как «близко» или «далеко» в данный момент времени до оценки в семестре или в году, на которую учащийся рассчитывает.
Такая система оценки позволяет учащемуся быть более активным в учебной деятельности, уменьшает субъективизм педагога при оценке знаний, стимулирует соревновательность в учебном процессе, что отражает объективно существующую конкуренцию, например, на рынке труда.
В отечественной педагогике этот метод завоевывает все больше и больше популярности и используется во многих образовательных учреждениях.
Демократизация и гуманитаризация современного образования требует отказа не от контролирования и оценивания знаний, умений, а от рутинных форм побуждения к учению с помощью оценок. Поиск новых способов стимулирования учебного труда учащихся, принцип личной выгоды, набирающий силы в обучении и воспитании, определяют иные подходы. Дополняясь принципом добровольности обучения (а значит, и контролирования), оценка может превратиться в способ рационального определения личного рейтинга – показателя значимости (веса) человека в цивилизованном обществе.
51
ПЕДАГОГИЧЕСКОЕ ТЕСТИРОВАНИЕ, ПРЕИМУЩЕСТВА И НЕДОСТАТКИ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ
Одна из важнейших задач квалиметрии – быстрая и надежная оценка знаний человека. Теория тестов рассматривается как часть педагогической квалиметрии.
Дидактические тесты (от англ. test – испытание, проба) – стандартизированное задание, соответствующее требованиям краткости и простоты, выполнение которого позволяет оценить некоторые психофизиологические характеристики испытуемого, а также уровень его знаний, умений и навыков.
Дидактический тест – это одновременно и метод, и средство проверки результатов обучения, устанавливающей степень усвоения учебной информации учащимися.
Тестовая методика имеет свою довольно богатую историю. В мировой педагогической практике принято выделять три этапа внедрения тестирования.
Первый этап – 1900 – 1915 гг. Период поисков. Тест возник как метод измерения в 1890-х гг. благодаря английскому психологу Д. Кэттелу. Признанным авторитетом в области тестирования считается Э. Торндайк (1874 – 1949). В этот период происходит осознание и первоначальное внедрение психологических тестов памяти, восприятия, умственного развития, которые предложил французский психолог А. Бине. Делаются первые попытки создания стандартизированных педагогических тестов.
Второй этап – 1916 – 1930 гг. Бурное развитие тестирования. Создается классическая теория тестирования на базе количественного оценивания человеческих качеств Ф. Гальтона. Внедряются тесты О. Стоуна по арифметике, Б. Зекингема для проверки правописания, Т. Келли по измерению интересов и наклонностей обучаемых. В 1920 – 1930 гг. появляются самые распространенные «тесты с выбором». Особую популярность тестирование получает в США.
Третий этап – с 1931 г. по настоящее время. Совершенствование теории и практики тестирования происходит по следующим направлениям:
–создание новых совершенных средств предъявления и обработки тестов, накопления и эффективного использования диагностической информации;
–повышение объективности тестов;
–создание непрерывной (сквозной) системы диагностики с общими принципами;
–создание основы теории адаптивного обучения (Item Respons Theory) Исследовалось состояние контроля знаний учащихся с применением те-
стовых измерителей и выявлялись основные проблемы при использовании тестов: качество и валидность содержания тестовых заданий, надежность результатов тестирования, недостатки обработки результатов по классической теории тестов, отсутствие использования современной теории обработки тестовых материалов с применением вычислительной техники. Высокая погрешность измерения тестовых результатов не позволяет говорить о высокой надежности результатов измерения.
52
Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний учащихся с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований.
Применение диагностических тестов в зарубежных школах имеет давнюю историю. Признанный авторитет в области педагогического тестирования Э. Торндайк (1874 – 1949) выделяет три этапа внедрения тестирования в практику американской школы:
1.Период поисков (1900–1915 гг.). На этом этапе происходило осознание
ипервоначальное внедрение тестов памяти, внимания, восприятия и других, предложенных французским психологом А. Бинэ. Разрабатываются и проверяются тесты интеллекта, позволяющие определить коэффициент умственного развития.
2.Последующие 15 лет – годы «бума» в развитии школьного тестирования, когда было разработано и внедрено множество тестов. Это привело к окончательному осмыслению роли и места тестирования, возможностей и ограничений.
3.С 1931 г. начинается современный этап развития тестирования. Поиски специалистов направляются на повышение объективности тестов, создание непрерывной (сквозной) системы тестовой диагностики, подчиненной единой идее и общим принципам, созданию новых более совершенных средств предъявления и обработки тестов, накопления и эффективного использования диагностической информации. Напомним в связи с этим, что педология, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного контроля.
После известного постановления ЦК ВКП(б) «О педологических извращениях в системе Наркомпроса» (1936 г.) были ликвидированы не только интеллектуальные, но и безобидные тесты успеваемости. Попытки возродить их в 70-х годах ни к чему не привели. В этой области наша наука и практика значительно отстали от зарубежной.
В развитых странах внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тем не менее тестирование как вид контроля не получает однозначной оценки в современной дидактике.
Выделим достоинства тестирования, которые важны для преподавателя и обучаемых.
53
Во-первых, для преподавателя систематически тестовый контроль довольно прост и надежен по системе организационных мероприятий его проведения:
–если есть возможность использования технических средств и устройств для тестового контроля, то преподаватель фактически освобождается от проведения самого контроля;
–разработанные тесты можно использовать в течение нескольких лет;
–если тестовые задания даются методом безмашинного программирования, то участие преподавателя выражается в оглашении цели тестирования, общей инструкции по выполнению заданий;
–объективная оценка выставляется путем простого подсчета количества правильных ответов;
–у преподавателя есть эталоны правильных ответов, которые могут быть преподнесены студентам разными способами, дающими возможность строго фиксировать результаты контроля, а затем их анализировать;
–при проверке тестов обеспечивается оперативность проверки выполненного задания за счет четкого алгоритма статистической обработки результатов контроля;
–наблюдается значительная экономия времени преподавателя, поскольку время, отведенное на контроль, определяется не числом студентов, а количеством контрольных вопросов.
Во-вторых, тестовый контроль позволяет:
–оценить студентов с определенной долей объективности по определенным критериям, та как все студенты равны в условиях проведения работы и оценки ее результатов;
–установить относительно реальную картину качества усвоения студентами теоретического и практического материала;
–выявить динамику развития предметных, общеинтеллектуальных, профессиональных умений студентов;
–сохранить познавательную активность студентов на всем протяжении времени, отведенного для контрольной проверки;
–быстро диагностировать за относительно короткое время большое количество студентов и большой объем изученного материала;
В-третьих, грамотно проведенный, постоянно осуществляемый тестовый контроль заставляет преподавателя вовремя корректировать учебные программы, в целом процесс обучения с конкретным контингентом студентов. В качестве метода и средства педагогической диагностики тест рассматривается как некоторый «измерительный прибор», отвечающий следующим требованиям:
а) надежности, т.е. в сходных условиях он показывает те же результаты неоднократно;
б) валидности, т.е. обнаруживает и измеряет уровень усвоения именно тех знаний, которые хочет измерить разработчик теста;
в) объективности, т.е. обеспечивает независимость проверки и оценки знаний от личности преподавателя.
Для студентов тестовый контроль удобен тем, что:
54
–любые тестовые задания, независимо от их количества, студент выполняет строго индивидуально, с учетом собственных возможностей;
–в тесте внимание студента фиксируется не на составлении ответа, а на обдумывании его существа;
–тест предусматривает конкретные задания, способы их выполнения, а также однозначность оценки ответа;
–тест позволяет сэкономить личное время студентов, затраченное на
опрос;
–решение тестовых заданий дает возможность предварительного самоконтроля с целью самооценки достигнутого уровня знаний;
–тест создает для студента определенный психологический комфорт, так как строится на конкретном алгоритме заданных действий, задания с выбором дают возможность студенту утвердиться в своих знаниях;
–в определенной степени тест есть одно из средств приобретения студентом навыков культуры умственного труда.
К недостаткам тестирования можно отнести следующие моменты. Во-первых, погрешность в оценивании результатов тестирования:
–проверке в тесте подвергаются только результаты действий;
–категоричность оценки выполнения тестового задания, когда задание оценивается положительно, если выполнено правильно, или отрицательно, если не выполнено;
–возможность оценки главным образом знания и в меньшей степени умения слушателя решать практические и организационные вопросы;
–невозможность оценить сам процесс формирования ответа;
–зависимость оценки знаний от уровня трудности заданий;
–один инструмент оценивает разное знание студентов.
Во-вторых, невозможность учета так называемого личностного фактора, необходимого при осуществлении контроля:
–у преподавателя нет возможности проследить развитие логики рассуж-
дений;
–отсутствие «обратной связи» с преподавателем в ходе выполнения контрольного задания, если в процессе контроля не используются технические средства;
–стандартизация мышления без учета свойств личности;
–предложение студенту упрощенной учебно-познавательной задачи в виде конкретного выбора вместо самостоятельного формулирования полного и исчерпывающего ответа на поставленный вопрос.
В-третьих, затруднения, связанные с самой процедурой ответа студентов:
–большая вероятность выбора ответа наугад;
–«формализованный» характер выборочного ответа;
–неизбежность подсказки при альтернативном ответе;
–правильный ответ из числа готовых;
–возможность запомнить ложный или неточный ответ.
В педагогическом тестировании существуют два подхода.
55
Нормативно-ориентированный подход направлен на сравнение индивидуального результата отдельного студента с результатами других. В основу такого подхода положено сравнение индивидуальных результатов со среднегрупповыми; учебных достижений отдельных студентов с дальнейшим ранжированием студентов по успеваемости; достижений учебных групп и учебных заведений.
Критериально-ориентированный подход нацелен на сопоставление индивидуальных результатов тестирования с общим объемом знаний, который подлежит усвоению на определенном этапе обучения; на диагностику трудностей в обучении; выбор дальнейшей стратегии обучения; аттестацию образовательных учреждений в соответствии с существующим стандартом; сопоставление уровня достижений отдельных учащихся с требованиями Государственного образовательного стандарта.
Вопрос классификации тестов представляет определенную сложность.
1. Если критерием считать область исследования, то тесты подразделяются на следующие виды:
1)тесты достижений – тесты развития, интеллекта, общей результативности, школьной успеваемости, профессиональной пригодности;
2)психометрические личностные тесты – на интересы, установки, личностные структурные тесты.
ІІ. По назначению тесты можно разделить на психологические, педагогические, диагностические, несущие профессиографические и прогностические функции.
ІІІ. В педагогике тесты классифицируются следующим образом:
1)тесты школьной успеваемости;
2)комбинированные тесты школьной успеваемости и профессиональной пригодности;
3)тесты, определяющие уровень развития ребенка и его готовность к
школе;
4)тесты интеллекта и профессиональной пригодности;
5)тесты на внимание и умение концентрироваться;
6)социальные тесты.
ІV. С точки зрения структуры и содержания тесты бывают:
1)гомогенные, если они составлены по материалам одной учебной дисциплины и в частности по ее отдельному разделу, теме;
2)гетерогенные, если они составлены для измерения уровня подготовленности студентов по нескольким дисциплинам. Этот вид теста используется для комплексной проверки в период аттестационных мероприятий образовательного учреждения;
3)интегративные, если они нацелены на диагностику подготовленности выпускника образовательного учреждения, в частности молодого специалиста средней и высшей профессиональной школы. Особенность этих тестов заключается в том, что правильные ответы строятся на синтезированных знаниях по нескольким учебным дисциплинам одновременно;
56
4) адаптивные, если задания даются испытуемому с учетом ответа на предыдущее задание.
V. Формально тесты могут быть классифицированы в две большие груп-
пы:
1) по целевым, функциональным, содержательным признакам они бывают: по цели применения – констатирующие, диагностические, прогностические; по виду контроля – тесты текущего, рубежного, итогового контроля; по статусу контролирующей программы – стандартизированные, нестандартизированные. В зависимости от формы проведения, целей и содержания тестового контроля выделяют тесты индивидуальные/групповые, устные/письменные, бланковые (условно называемые как тест «карандаш–бумага») и предметные, в которых используются рисунки, карточки и карандаш, бумага;
2)по формальным признакам тесты различаются: по объекту контроля – языковые, коммуникативные; по направленности тестовых заданий – дискретные, комплексные; по характеру заданий – тесты на скорость или на сложность выполнения и т.д.
Проектирование дидактических тестов включает три стадии.
Стадия 1. Подготовительное планирование фиксирует внимание разработчика на трех последовательных моментах.
Во-первых, нужно определить цели исследования. Они могут быть направлены на объективную оценку объема знаний студентов, выявление структуры усвоения знаний у студентов или системы полного усвоения знаний, адекватность выбора профессии (например, абитуриентами педагогических колледжей и вузов), а могут быть локальными. Например, необходимо провести отбор студентов с низкой успеваемостью для дополнительных занятий или предварительно установить уровень успеваемости разных учебных курсов. При разработке теста принимаются во внимание определенные критерии в зависимости от общепринятой таксикомании целей:
1)знание фактов и взаимозависимости между ними;
2)решение теоретических и практических проблем;
3)самостоятельная оценка;
4)самостоятельное применение знаний в новой ситуации.
Цели позволяют преподавателю ответить на вопрос, что является главным при ответе испытуемого – умение мыслить или запоминать, и показывают, каковы значение теста и его дидактическая корректность.
Во-вторых, продумывается механизм проведения тестирования, как оно будет организовано – индивидуально, по подгруппам или со всеми студентами одновременно. Обычно тестирование проводится групповым методом, индивидуальные тесты даются только в тех случаях, когда нет возможности измерить уровень качества усвоения материала в условиях групповой проверки.
Также устанавливается, каким способом будет осуществляться тестирование – в виде компьютерной программы, методом безмашинного программирования, непосредственной записью ответов на вопрос разработчика.
Если тест дается в устной форме, то важно соблюдать следующую методику: текст заданий читается преподавателем внятно, четко, дважды повторяет-
57
ся каждый вопрос, указывается, какой вариант читает и из каких ответов надо выбрать правильный. После первого прочтения тест читается еще раз, но в более быстром темпе, затем дается время на размышление, определение правильных ответов, и готовые работы сдаются на проверку. После этого преподаватель снова зачитывает весь текст, но с указанием правильных ответов. Обычно такая методика используется при текущем контроле, так как данная процедура занимает довольно много учебного времени (до 20 минут).
Определяется, как будет проходить обработка теста – собственными силами разработчика или другим лицом, и на что следует опираться при обработке результатов теста – на правильные решения, на допущенные ошибки или на то и другое сразу.
Выписывается инструкция для пользователей, которая может быть дана отдельно преподавателям, проводящим тестирование, и отдельно студентам, в ней участвующим.
В-третьих, составляется спецификация теста.
Спецификация (от лат. spesies – вид, разновидность, facere – делать) – перечисление подробностей, на которые надо обратить внимание.
В спецификации указывается название, для какого вида контроля используется тест. Прописываются общая цель и задачи, решаемые при применении теста. Определяется перечень разделов или тем учебной дисциплины, на основе которых даются задания, общее количество заданий, их виды и количественное соотношение внутри теста, указывается число заданий по конкретной задаче обучения. Предоставляется ключ к тесту, т.е. эталоны правильных ответов. Фиксируются критерии оценки знаний студентов, даются методы статистической обработки полученных результатов, примеры инструкций к заданиям. В спецификации теста могут быть указаны возможные ошибки, которые возникают у тестируемых в процессе решения тестовых заданий. Фактически в спецификации отражаются основные характеристики теста: содержание, форма, язык, трудность, валидность, надежность.
Стадия 2. Содержательный (куррикулярный) анализ. Анализу подвергаются учебные планы и учебники. Поскольку тесты «школьной успеваемости» направлены на соотносительную группу, то ориентация делается на наиболее значимые и глобальные цели, например, не столько на выявление знаний, сколько прежде всего на умение учащихся понимать, обдумывать, восстанавливать в памяти, т.е. применять полученные знания на практике. В этом виде анализа педагог ориентируется только на те цели, которые он выбрал для своего предмета.
Стадия 3. Конструирование заданий. При переходе к рассмотрению этой стадии работы в процедуре составления теста, следует уточнить, что педагогический (дидактический) тест представляет собой систему заданий возрастающей трудности и специфической формы, позволяющих объективно оценивать уровень и структуру знаний студентов. В связи с этим рассмотрим сначала особенности наиболее часто встречающихся видов тестовых заданий, затем остановимся на общих требованиях к содержанию при построении теста, а потом
58
определим ряд организационных моментов, которые должен учесть преподаватель при компоновке теста.
1. Особенности разных видов тестовых заданий
Педагогические задания, используемые при конструировании тестов, можно разделить на три вида:
1)тестовые – это традиционные задания с выбором, открытой формы, на установление соответствия, правильную последовательность;
2)псевдотестовые – цепные, тематические и др., возникшие как разновидность контрольного материала. По своей сути они не отвечают требованиям математической теории тестов, поскольку в них нарушен принцип статистической независимости тестовых заданий, но довольно часто применяются во время итоговой проверки знаний;
3)нетестовые – это задания в виде дидактических ребусов, кроссвордов, задач, которые применяются чаще всего самостоятельно, а в тест могут включиться эпизодически и очень редко.
Задания с выбором – самые распространенные, так как весьма удобны в восприятии; в них легче найти правильный ответ, чем сформулировать; содержание задания легко перекладывается на программы ЭВМ. При всей своей внешней легкости данный вид задания требует от студента системных и глубоких знаний, иначе неправильные ответы кажутся более правдоподобными, чем неверные, а такое заблуждение приводит к снижению оценки.
Существует несколько разновидностей заданий с выбором:
– задания, построенные в форме вопроса, требующего однозначного ответа «да/нет», «верно/неверно»;
– задания с выбором одного правильного ответа из двух, трех, четырех, пяти ответов;
– задания с выбором нескольких правильных ответов.
При композиционном построении этих заданий учитывается несколько принципов.
Принцип противоречия. Ответы подбираются таким образом, что второй отрицает первый: «записывается/не записывается», «изображается*не изображается», «подчиняется/не подчиняется»…
Принцип противоположности ответов. Пример: «открыты/закрыты», «возрастает/убывает», «вверх/вниз»…
Принцип однородности позволяет при формулировании ответов отображать основные стороны явления, например: «Основным элементом (указывается педагогическое явление, закон, теория…) является …», а далее идут перечисления, характеризующие данное явление.
Принцип кумуляции означает, что содержание второго ответа вбирает в себя содержание первого, содержание третьего – второго и т.д.
Пример. Толерантным называется отношение: а) рефлексивное; б) рефлексивное и симметричное;
59
в) рефлексивное, симметричное и транзитивное.
Принцип сочетания предполагает, что в каждом ответе могут сочетаться два, три, иногда четыре слова.
Пример: Ф. Шуберт писал музыку: а) органную и симфоническую; б) симфоническую и фортепианную.
Принцип градуирования означает, что в ответах неправильные варианты оказываются неверными в разной степени. Один – просто неправильный, второй – совершенно неправильный и противоположный правильному ответу.
Принцип удвоенного противопоставления заключается в том, что ответы построены с использованием сочетаний.
Пример: Социальная информация: а) идеальна по форме и содержанию;
б) материальна по форме и содержанию; в) идеальна по форме и материальна по содержанию;
г) материальна по форме и идеальна по содержанию.
Перечисленные принципы реализуются через инструкцию «Обведите кружком номер наиболее правильного ответа»
При разработке всех заданий с выбором преподаватель учитывает формулировку инструкции, содержания, ответов, количество ответов, определяет способы выставления оценок.
Инструкция в заданиях с выбором бывает трех видов:
1)«обведите кружком номер правильного ответа», «Подчеркните номер правильного ответа», если используется ЭВМ – «Отвечая на вопрос (задание), нажмите на клавишу с номером правильного ответа». Такая инструкция содержится в заданиях с выбором одного правильного ответа;
2)«обведите кружком номер наиболее правильного ответа» – эта инструкция реализует принцип формулирования заданий с ответами, правильными в различной мере;
3)«обведите кружком номера всех правильных ответов», если предлагаются задания с выбором нескольких правильных ответов.
При формулировке содержания задания учитываются следующие усло-
вия:
– задания формулируются с использованием слов в превосходной степени – «самый», «наибольший», «наименьший», «наилучший», которые ставятся
вначале предложения для усиления значения;
–общее количество слов в задании – от 5 до 7, но может быть и только одно. Например, «Тест – это…», далее формулируются ответы;
–для того, чтобы уйти от громоздкости теста, следует оптимизировать количество ответов от 2 – 3 до 5;
–короткие задания требуют и коротких, лаконичных ответов;
–в условиях дефицита времени, отведенного на решение тестового задания, особую значимость приобретает шрифтовое оформление. Шрифт задания
ишрифт ответов должны отличаться друг от друга.
60