Оценка уровня национальных достижений в образовании. Книга 1
.pdfПРОБЛЕМЫ ПРОЕКТИРОВАНИЯ, ПРОВЕДЕНИЯ, АНАЛИЗА, СООБЩЕНИЯ РЕЗУЛЬТАТОВ... |
|
91 |
|
интересованным сторонам, особенно тем, кто имеет возможность принимать решения.
Сообщите результаты с учетом гендерных и региональных факторов, если это позволяет дизайн выборки.
Обеспечьте в отчете или в методическом руководстве адекватную информацию, позволяющую воспроизводить оценивание.
Распространенные ошибêи
Написание громоздких методических отчетов.
Провал попыток анализа ряда основных результатов.
Создание рекомендаций в соответствии с определенной переменной даже при том, что результаты анализа подвергают сомнению валидность данных по этой переменной.
Провал попыток установления связи результатов оценки с учебным планом, учебниками и проблемами подготовки преподавателей.
Отсутствие подтверждения того, что факторы, находящиеся вне контроля преподавателя и школы, вносят свой вклад в оценку результатов выполнения тестов.
Неспособность признать, что различия между средними оценками могут не быть статистически значимыми.
Несвоевременная подготовка отчета, исключающая возможность влияния его результатов на соответствующие политические решения в образовании.
Подготовка излишне большого списка литературы в от- чете.
Провал попытки предать гласности ключевые выводы от- чета для отдельных соответствующих групп заинтересованных лиц.
РАСПРОСТРАНЕНИЕ И ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ
Важно, чтобы результаты национальных оценок не остались на полках тактиков, а были переданы на соответствующем языке всем, кто может повлиять на качество обучения учащихся.
92 |
|
ОЦЕНКА ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ НА НАЦИОНАЛЬНОМ УРОВНЕ |
|
||
|
Реêомендóемые действия
Предоставьте результаты заинтересованным лицам, особенно ключевым тактикам и менеджерам.
Используйте результаты в тех местах, где они повлияют на выработку тактики и улучшение обучения и совершенствование учебных планов.
Распространенные ошибêи
Игнорирование результатов оценки, когда дело доходит до выработки политики в образовании.
Неудачные попытки применения результатов оценки клю- чевыми заинтересованными лицами (например, в системе обучения преподавателей или разработчиками учебных планов).
Провал попыток использовать извлеченные уроки и принимать их во внимание при последующих процедурах оценки национальной командой.
ГЛАВА6
МЕЖДУНАРОДНАЯ
ОЦЕНКА
ДОСТИЖЕНИЙ
УЧАЩИХСЯ
В этой главе мы рассмотрим программы международной оценки образовательных достижений учащихся. Они используются во многих странах, чтобы обеспечить данные для систем национальной оценки. Сначала мы в общих чертах обозначим основные особенности международной оценки, приведем сходства и отличия по сравнению с национальной оценкой. Далее мы опишем активизацию деятельности по международной оценке. Затем мы определим преимущества международной оценки и проблемы, связанные с ней.
Международная оценка достижений учащихся во многом подобна национальной оценке. Обе эти системы используют схожие процедуры (по конструированию инструментария, формированию выборок, проставлению баллов и анализу результатов). Также они имеют похожие цели: определить, насколько успешно проходит обучение в системе образования; идентифицировать отдельные сильные и слабые стороны в знаниях и умениях, которые приобрели учащиеся; сравнить достижения подгрупп генеральной совокупности учащихся (например, в терминах гендерных различий или местоположения школ); определить связь между достижениями учащихся
94 |
|
ОЦЕНКА ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ НА НАЦИОНАЛЬНОМ УРОВНЕ |
|
||
|
èвариацией характеристик образовательной среды в школе, семье, обществе. Кроме того, обе системы оценивания позволяют установить, изменяются ли достижения учащихся с уче- том фактора времени (Kellaghan and Greaney, 2004). Однако на практике не всегда понятно, почему страна принимает решение об участии в международной оценке (Ferrer, 2006).
Главное преимущество международной оценки по сравнению с национальной состоит в том, что первая предназначена для обеспечения тактиков, педагогов и широкой общественности информацией о характеристиках системы образования данной страны по отношению к системам образования других стран (Beaton and others, 1999; Husen, 1973; Postlethwaite, 2004). Эта информация может стать источником давления на тактиков и политиков с целью повышения качества образовательных услуг. Кроме того, возможно, эта информация внесет свой вклад в развернутое объяснение факторов, изменяющихся в зависимости от страны, которые обуславливают появление различий в достижениях учащихся.
Êпредметам учебного плана, которые имели наибольшие нормы участников программ международного оценивания, относятся: чтение, математика и естественные науки. Исследования проводились на уровне начальной и средней школы. Как правило, комбинация класса и возраста используется для определения тех учащихся, которые будут принимать участие в оценке (например, учащиеся двух смежных классов, которые имеют наибольшие доли девятилетних и тринадцатилетних детей, учащиеся классов с наибольшими долями девятилетних
èчетырнадцатилетних детей, более двух смежных классов с наибольшей долей девятилетних учащихся). В другом международном исследовании были отобраны учащиеся определенного возраста (пятнадцатилетние дети).
Результаты программ международного оценивания, таких как TIMSS и PISA, и программы региональной оценки могли быть и были использованы для подготовки отдельных национальных отчетов о результатах тестирования на уровне страны. Международные базы данных доступны для выполнения таких исследований.
МЕЖДУНАРОДНАЯ ОЦЕНКА ДОСТИЖЕНИЙ УЧАЩИХСЯ |
|
95 |
|
Страны значительно отличаются и по той степени, в которой они полагаются на результаты международной и национальной оценки для выработки политики в образовании. Многие индустриально развитые страны проводят свои собственные исследования и при этом участвуют в международных программах. У Соединенных Штатов есть собственная программа национального оценивания образовательных достижений для 4-х, 8-х и 12-х классов; при этом США также уча- ствуют в международных программах оценки учебных достижений. Некоторые страны с развитой индустрией принимают участие в программах международной оценки, но не проводят национальную оценку (например, Российская Федерация и Германия). Точно так же некоторые развивающиеся страны использовали программу международной оценки для обеспече- ния собственной единственной формы национальной оценки (Braun and Kanjee, 2007). Многие из самых бедных стран в мире ни разу не принимали участие в международной оценке или не проводили национальную оценку, хотя в последние годы ситуация существенно изменилась.
.
РОСТ АКТИВНОСТИ В МЕЖДУНАРОДНОЙ ОЦЕНКЕ
Деятельность по международной оценке началась в тот период, когда группа исследователей встретилась в 1958 году для рассмотрения возможности принятия обязательств по изучению измеряемых результатов образования и определяющих их факторов внутри системы и между системами образования (Husen and Postlethwaite, 1996). С тех пор более 60 стран приняли участие в международных исследованиях учебных достижений по одному или нескольким различным предметам учебного плана: чтению, математике, естественным наукам, письму, литературе, иностранным языкам, гражданскому образованию и компьютерной грамотности. Самые известные программы международной оценки – TIMSS (см. B.1 в приложении B), PIRLS Международной ассоциации по эвалюации образовательных достижений (см. B.2 в приложении B) и PISA Организации по экономическому сотрудничеству и развитию (OЭСР) (см. B.3 в приложении B).
96 |
|
ОЦЕНКА ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ НА НАЦИОНАЛЬНОМ УРОВНЕ |
|
||
|
Региональные системы оценки по чтению и математике были созданы на юге и востоке Африки (см. C.1 в приложении C), во франкоязычной Африке (см. C.2 в приложении C) и в Латинской Америке (см. C.3 в приложении C). Ряд отличительных особенностей программ TIMSS и PISA представлен в табл. 6.1 (см. также B.1 и B.3 в приложении B).
Количество стран, принимающих участие в международных исследованиях, за прошедшие годы увеличилось. В то время как до 1980-х годов в международной оценке участвовали не более 20 стран, в 1991 году программа Исследования грамотности чтения привлекла уже 32 страны. В 2003 году 52 страны приняли участие в TIMSS и 41 страна – в PISA (30 государств – членов ОЭСР и 11 стран – партнеров). Кроме того, международные исследования в последние годы имеют явно выраженную ориентацию на мониторинг результатов учащихся с учетом фактора времени. Все три основные текущие программы международной оценки (TIMSS, PIRLS и PISA) проводятся на циклической основе и имеют характер трендовых исследований.
Участие развивающихся стран в международных исследованиях раньше было крайне низким. Однако в соответствии с увеличением общего количества стран, участвующих в международных исследованиях, количество стран со слабо развитой индустрией также возросло. Большая их часть вошла в программу TIMSS в 2003 году (семь стран Африки) и в 2007 году (шесть стран Африки). За время участия в международных исследованиях развивающиеся страны проявили больший интерес к участию в исследованиях по математике и чтению, чем по другим предметам учебного плана.
Рост интереса к международным исследованиям, отмеченный в последнее время, может быть следствием процессов глобализации, стремления к предоставлению качественных услуг в здравоохранении и образовании на уровне международных стандартов и заинтересованности в получении соответствующего признания. Результаты некоторых исследований свидетельствуют о том, что качество образования (в особенности в плане учебных достижений по математике и естественным наукам) играет важную роль в экономическом росте страны, хотя эта тен-
МЕЖДУНАРОДНАЯ ОЦЕНКА ДОСТИЖЕНИЙ УЧАЩИХСЯ |
|
97 |
|
денция не полностью прослеживается по странам на протяжении длительного периода (Coulombe, Tremblay and Marchand, 2004; Hanushek and Kimko, 2000; Hanushek and Wossmann, 2007; Ramirez and others, 2006). Тем не менее, каковы бы ни были при- чины, образовательная политика во всем мире все сильнее направлена на развитие мониторинга совокупности учебных достижений учащихся в международном контексте.
ПРЕИМУЩЕСТВА МЕЖДУНАРОДНОЙ ОЦЕНКИ
Для привлечения стран к участию в международной оценке было выдвинуто большое количество аргументов. Возможно, наиболее очевидным из них является то, что международные исследования обеспечивают сравнительную структуру, которая позволяет оценить достижения учащихся и обеспечение учебного процесса в стране, а также разработать процедуры для устранения выявленных недостатков (Straus, 2005). С помощью сравнительного анализа международной практики на основе результатов оценки страны могут выявить свои достижения, установить характер их распределения и связи, существующие между средними оценками учебных достижений и их распределением. Например, могут ли высокие средние оценки учебных достижений совмещаться с узким диапазоном распределения результатов выполнения теста? Если верить результатам исследования PISA, то такая ситуация встречается на практике.
Данные по учебным достижениям обеспечивают только ограниченную информацию о качестве образования в отдельно взятой стране. Это позволяет утверждать, что преимущество международных исследований состоит в том, что они могут использовать вариативность результатов, существующую в системах образования разных стран, для расширения диапазона условий, которые возможно изучить, в отличие от тех, которые действуют в отдельной стране (Husen, 1973). Исходя из этих соображений, анализ данных, собранных в этих исследованиях, обычно проводится с учетом взаимосвязи между учебными достижениями и широким диапазоном контекстных переменных. Диапазон рассматриваемых переменных включает
ТАБЛИЦА 6.1 Сравнение TIMSS и PISA
К р и тер и й |
TIM S S 2003 |
P ISA 2003 |
|
с р ав нени я |
|||
|
|
||
|
|
|
|
Ц ели |
О б ес печ и ть с р а в ни тел ь ны е д анны е о с тепени , |
О б ес печ и ть с р а в ни тель ны е д анны е о р ез уль та та х |
|
|
в котор о |
ш коль ной с и с тем ы в в ед ущ и х р а з в и ты х с тр анах и оц ени ть , |
|
|
|
м ог ут л и уч а щ и ес я пр и м еня ть с в ои з нани я и ком петенц и и |
|
|
|
в ч тени и , м атем ати ке и ес тес тв енны х науках в р еаль ны х |
|
|
|
ж и з ненны х с и туа ц и я х. |
|
|
|
|
|
|
П р ов од и ть м они тор и нг и з м енени й ур ов ней |
П р ов од и ть м они тор и нг ур ов ней уч еб ны х д ос ти ж ени й и |
|
|
уч еб ны х д ос ти ж ени й с теч ени ем в р ем ени . |
в клад а уч еб ны х р ез ул ь татов с теч ени ем в р ем ени . |
|
|
|
|
|
|
П р ов од и ть м они тор и нг отнош ени я уч а щ и хс я к |
П р ов од и ть м они тор и нг под ход ов уч а щ и хс я к и з уч ени ю |
|
|
м атем ати ке и ес тес тв енны м наукам . |
м атем ати ки , ес тес тв енны х на ук и ч тени я . |
|
|
|
|
|
|
А на ли з и р ов ать с в я з ь м еж д у об ла с ть ю об уч ени я , |
О б ес печ и ть б аз у д а нны х д ля р а з р аб отки пол и ти ки в |
|
|
ш кол ь ны м и ф актор ам и и уч еб ны м и |
об р аз ов ани и |
|
|
д ос ти ж ени я м и . |
|
|
|
|
|
|
|
(Ч тени е охв а ч ено отд ель но в оц ени в ани и |
|
|
|
пр ог р а м м ы P IRL S .) |
|
|
|
|
|
|
С тр уктур а |
Р аз р аб отана экс пер там и по с од ер ж ани ю и з |
Р а з р аб ота на экс пер там и по с од ер ж ани ю и з нес коль ки х |
|
|
нес кол ь ки х с тр а н – уч а с тни ц пр ог р ам м ы |
с тр ан – уч ас тни ц пр ог р ам м ы |
|
|
|
|
|
Ц елев ая |
4- е и 8- е кла с с ы |
Уч а щ и ес я 15 л ет |
|
г енер а ль ная |
|
|
|
с ов окупнос ть |
|
|
|
|
|
|
|
А д екв атнос ть |
С пр оекти р ов ана д л я оц ени в ани я оф и ц и а ль ны х |
С пр оекти р ов ана д ля охв а та з нани й , получ енны х как в |
|
уч еб ном у пла ну |
уч еб ны х пла нов , с тр уктур и р ов анны х в |
ш коле, та к и в не ш колы , опр ед елена в тер м и нах |
|
|
с оотв етс тв и и с пр и з на нны м и пр ед м етам и |
пер ес еч ени и и д ей и ком петенц и й , пр и м ени м ы х к |
|
|
уч еб ны х пла нов , об щ и х д ля с тр ан – уч ас тни ц |
ли ч нос тны м , об р аз ов ател ь ны м , пр оф ес с и онал ь ны м , |
|
|
пр ог р а м м ы |
об щ ес тв енны м и науч ны м с и туа ц и я м |
|
|
|
|
УРОВНЕ НАЦИОНАЛЬНОМ НА ДОСТИЖЕНИЙ ОБРАЗОВАТЕЛЬНЫХ ОЦЕНКА 98
С од ер ж ани е |
8- й клас с, р а спр ед елени е з ад а ни й : |
М атем ати ка, охвач енны е |
Р аспр ед елени е з а д ани й : |
|
р аз ли ч ны х |
|
р а з д елы : |
|
|
з ад а ни й |
|
|
|
|
д ей стви я с ч и сла м и – 30% |
коли ч еств о |
д ей с тви я с ч и слам и – 31,8% |
||
(м а тем а ти ка, |
||||
алгеб р а – 25% |
пр остр анс тв о и ф ор м ы |
г еом етр и я – 21,2% |
||
8- й класс |
||||
р аб ота с д анны м и – 15% |
и з м енени я и свя з и |
с та ти с ти ка – 21,2% |
||
|
||||
|
г еом етр и я – 15% |
и з м енч и вос ть |
ф ункц и и – 10,6% |
|
|
и з м ер ени я – 15% |
|
д и скр етная м а тем а ти ка – |
|
|
|
5,9% |
||
|
|
|
||
|
|
|
|
|
|
|
|
в ер оя тность – 5,9% |
|
|
|
|
а лг еб р а – 3,5% |
|
|
8- й клас с |
Ра спр ед елени е з а д а ни й : |
|
|
К ог ни ти вны е |
р еш ени е ти пи ч ны х пр об лем – 40% |
установлени е с вяз ей – 47% |
||
и споль з ова ни е конц епц и й – 20% |
р епр од укц и я – 3% |
|
||
пр оц ессы |
|
|||
з нани е ф актов и пр оц ед ур – 15% |
р еф лекси я – 22% |
|
||
|
|
|||
|
р асс уж д ени я – 25% |
|
|
|
В и д ы з а д ани й |
П р и б ли з и тель но д ве тр ети – з а д ани я с |
П р и б ли з и тель но од на тр еть – з ад ани я с в ы б ор ом , |
||
(м а тем а ти ка) |
м нож еств енны м в ы б ор ом , оставш а яся ч асть – |
остав ш аяс я ч ас ть – как пр ав и ло, з акр ы ты е з ад ани я (од и н |
||
|
з ад ани я с констр уи р уем ы м ответом и ли с |
воз м ож ны й пр а ви ль ны й ответ) и ли откр ы ты е з ад а ни я |
||
|
откр ы ты м ответом |
(б олее од ного в оз м ож ног о пр а ви ль ног о отв ета), и ли |
||
|
|
з ад ани я с констр уи р уем ы м ответом |
||
|
|
|
|
|
Ч астота |
К аж д ы е 4 г од а : р ав ны е пр опор ц и и з а д а ни й по |
К а ж д ы е 3 год а: полны й охват сод ер ж а ни я од ного пр ед м ета |
||
|
м атем ати ке и ес тественны м наукам в ка ж д ом |
з а каж д ы е 9 лет (ч тени е в 2000 г од у, м атем а ти ка в |
||
|
ц и кле |
2003 год у, естес твенны е науки в 2006 г од у), плю с м енее |
||
|
|
полны й охва т д р уг и х д вух пр ед м етов каж д ы е 3 год а |
||
|
|
|
|
|
Тер р и тор и аль ны й |
48 стр ан: 20 – с вы с оки м д оход ом , 26 – со |
30 стр ан О Э С Р так ж е, как и 11 д р уг и х стр ан |
||
охва т |
с р ед ни м д оход ом , 2 с тр а ны с ни з ки м д оход ом |
|
|
|
|
|
|
|
|
А нали з |
Ч еты р е ур овня с точ кам и отсч ета и оц енки |
С ем ь ур овней освоени я по м атем ати ке и с р ед ни е оц енки , |
||
|
с р ед ни х, котор ы е основа ны на д а нны х в сех |
котор ы е ос нов аны на д анны х по стр анам О Э С Р |
||
|
уч а ствую щ и х с тр а н |
|
|
|
|
|
|
|
|
Источниê: стрóêтóры исследований TIMSS и PISA, Национальный центр образовательной статистиêи, база данных по поêазателям Всемирноãо банêа.
99 УЧАЩИХСЯ ДОСТИЖЕНИЙ ОЦЕНКА МЕЖДУНАРОДНАЯ
100 |
|
ОЦЕНКА ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ НА НАЦИОНАЛЬНОМ УРОВНЕ |
|
||
|
содержание учебных планов, время, продолжительность учебного процесса, педагогическое образование, наполняемость классов и организацию системы образования. Ясно, что ценность международных исследований возрастает, поскольку они предоставляют исследователям и тактикам информацию, выдвигающую гипотезы о причинах отличий учащихся по их достижениям от страны к стране. Исследования также обеспечи- вают информационную базу для проведения эвалюации образовательной политики и практики.
Потенциально программы международной оценки способны пролить свет на те концептуальные аспекты развития образования, на которые раньше в стране не обращали внимание (например, на определение понятия грамотности или его осмысление в учебных планах в контексте планирования, выполнения и достижения; см., например, Elley, 2005). Иногда программы оценки помогают идентифицировать вопросы и приводить к тем выводам, которые могут считаться само собой разумеющимися (например, ценность всеобщего образования по сравнению с селективным образованием, меньшие размеры класса, связываемые с более высокими достижениями учащихся или польза повторного обучения в том же классе для учащегося).
Международные исследования могут привлечь внимание СМИ и большого числа заинтересованных лиц, таких как политические деятели, ученые, преподаватели и общественность. Различия между странами в уровнях учебных достижений наглядно представлены в виде дескриптивной статистики, содержащейся в исследовательских отчетах. Действительно, эти разли- чия обычно представляются в виде упорядоченных таблиц, в которых страны ранжируются по уровням учебных достижений. Сравнительные данные по результатам этих исследований оказывают большее шокирующее воздействие на общественность страны, чем результаты национальной оценки. Низкие результаты могут способствовать дебатам, которые, в свою оче- редь, обеспечат политическим деятелям и тактикам аргументы для увеличенной бюджетной поддержки сектора образования, особенно если низкие результаты связаны с более низким уровнем расходов на образование.
