9.2 Рекомендації як довідник для реалізації контролю

9.2.1 Специфікація змісту та екзаменів

Опис "Використання Мови і Користувача Мовою" у розділі 4 та, особливо, підрозділі 4.4 про "Комунікативні види мовленнєвої діяльності" можна використати під час розробки специфікації завдання для контролю комунікативних умінь. Загальновизнаним є те, що валідний контроль вимагає демонстрацію зразків ряду відповідних типів мовлення. Напр., нещодавно розроблений тест ілюструє це положення стосовно тестування говоріння.

По-перше, це уявна Бесіда, функціями якої є "розминка/розігрів"; потім - Неформальна Дискусія на тему, до якої кандидат виявляє інтерес. Після цього реалізується фаза Трансакції, що проходить або у формі безпосереднього спілкування, або уявної телефонної розмови, спрямованої на пошук інформації. Потім іде фаза Продукції, що базується на письмовому Звіті (Доповіді - Report), в якій кандидат дає Опис своїх навчальних інтересів і планів. Нарешті це Цілеспрямована Співпраця, завдання на досягнення домовленості між кандидатами.

У підсумку категорії Загальних Рекомендацій, що застосовуються для комунікативних видів діяльності, є такими:

Інтеракція Продукція

(Спонтанні, короткі репліки) (Підготовлені, тривалі висловлювання) Говоріння:Бесіда Описання своїх навчальних інтересів

Неформальна дискусія

Цілеспрямована співпраця

Письмо: Доповідь/Описання своїх академічних

інтересів

Розробляючи деталі специфікацій завдань, користувач може, за бажанням, консультуватися з розділом 4.1 "Контекст використання мови" (галузі, умови та рамки, ментальний контекст), розділом 4.6 "Тексти", розділом 7 "Завдання та їх Роль у Викладанні мови" та особливо з підрозділом 7.3 "Складність завдання".

Розділ 5.2 "Комунікативні мовленнєві компетенції" проінформує про будову розділів тесту, або фази усного тесту, для визначення сформованості відповідної лінгвістичної, соціолінгвістичної та прагматичної компетенцій. Набір специфікацій змісту на Рівні Threshold, розроблений Радою Європи для більш ніж 20 європейських мов (див. список бібліографічних джерел), та на Рівнях Waystage і Vantage для англійської мови плюс їх еквіваленти, розроблені для інших мов і рівнів, можуть вважатись допоміжними до головного документа Рекомендацій. Вони дають приклади подальшої деталізації інформації до складання тестів для Рівнів А1, А2, В1 та В2.

9.2.2 Критерії досягнення навчальної мети

Шкали є джерелом для розробки рейтингових шкал для контролю досягнення конкретної навчальної мети і дескрипторів, необхідних для формулювання критеріїв. Метою може бути рівень загального володіння мовою, визначений як Загальнорекомендований Рівень (напр., В1). Це може бути, з іншого боку, специфічний набір видів мовленнєвої діяльності, умінь і компетенцій, який розглянуто в розділі 6.1.4 "Окремі Компетенції та Варіації Цілей відповідно до Рекомендацій". Подібна модульна мета може бути подана у вигляді сітки категорій по рівнях, так, як це представлено в Табл. 2.

Головним при обговоренні використання дескрипторів є розрізнення між:

1. Дескрипторами видів мовлення, які описано у розділі 4.

2. Дескрипторами аспектів володіння, пов'язаних з окремими компетенціями, які знаходяться у розділі 5.

Останні є дуже бажаними для вчительського самоконтролю з огляду на завдання "реального світу". Відповідні вчительські контрольні завдання та завдання для самоконтролю складаються на базі детального зображення мовних умінь учня, сформованих під час певного навчального курсу.

Вони є привабливими, тому що можуть допомогти сконцентрувати як учнів, так і вчителів на діяльнісно-орієнтованому підході.

Однак до критеріїв для окремого експерта не завжди бажано включати дескриптори комунікативних видів мовлення, щоб оцінити виконання якогось усного чи письмового тесту, якщо він (експерт) зацікавлений в отриманні результатів про досягнення певного рівня володіння. Причина в тому, що для висновку про рівень володіння контроль не повинен бути пов'язаний з володінням якимсь окремим видом мовлення, а буде намагатись зробити висновок про узагальнені компетенції. очевидні завдяки цьому володінню. Звичайно, можуть бути вагомі освітні причини для концентрації уваги на успіхах у виконанні даної діяльності, особливо з молодшими Елементарними Користувачами (Рівні А1; А2). Такі результати будуть менш узагальненими, проте узагальненість результатів не завжди буває центром уваги на ранніх стадіях вивчення мови.

Це підтверджує той факт, що процедури контролю/експертизи можуть мати багато різних функцій. Те, що відповідає меті однієї експертизи, може не відповідати іншій.

9.2.2.1 Дескриптори комунікативних видів мовлення

Дескриптори комунікативних видів мовлення (розділ 4) можуть використовуватись трьома окремими способами залежно від поставлених цілей.

1. Розробка: Як обговорювалось вище у підрозділі 9.2.1, шкали для комунікативних видів мовлення допомагають при визначенні специфікації для розробки контрольних завдань.

2. Висновки: Шкали для комунікативних видів діяльності також можуть бути дуже корисними для висновків про результати. Користувачі плодами освітньої системи, як, напр., службовці, часто цікавляться скоріше загальними результатами, ніж детальним зрізом компетенції.

3. Самоконтроль і вчительський контроль: Нарешті, дескриптори для комунікативних видів діяльності можуть по-різному використовуватись для само- і вчительського контролю, прикладами яких є:

• Контрольний лист: Для безперервного контролю або для підсумкового контролю в кінці курсу. Дескриптори на окремому рівні можуть бути представлені у вигляді списку. З іншого боку, зміст дескрипторів може бути розділений на складники. Напр., дескриптор "Може запитувати про і надавати особисту інформацію " може бути розділений на частини: "Я можу представитись"; "Можу сказати, де живу "; "Можу сказати мою адресу французькою мовою"; "Можу сказати, скільки мені років" і т.д. і_"Я можу запитати когось, як його звати; Можу запитати когось, де він живе; Можу запитати когось, скільки йому років''і т.д.

• Сітка. Для безперервного або підсумкового контролю, що ілюструє рейтинг певного зрізу на сітці відібраних категорій (напр.. Бесіда; Дискусія; Обмін Інформацією), визначених на різних рівнях (В1+, В2, В2+).

Таке застосування дескрипторів стало дуже поширеним за останні 10 років. Досвід показав, що послідовність, з якою викладачі та учні можуть інтерпретувати дескриптори, посилюється, якщо дескриптори описують не лише ЯК учні можуть щось робити, але також ЯК ДОБРЕ вони це роблять.

9.2.2.2 Дескриптори аспектів володіння мовою, пов'язаних з окремими компетенціями

Дескриптори аспектів володіння мовою можуть бути застосовані двома основними способами залежно від досягнення цілей.

1. Само- або вчительський контроль: За умови, що дескриптори є позитивними, незалежними показниками, вони можуть бути включені до контрольних листів для само- та вчительського контролю. Разом з тим недоліком більшості з існуючих шкал є те, що дескриптори часто мають негативну конотацію на нижчих рівнях і співвіднесені з нормами десь посередині шкали. Вони також часто дають суто вербальні відмінності між рівнями, замінюючи одне або два слова в сусідніх дескрипторах, які мають неістотне значення поза контекстом шкали. В Додатку А обговорюються шляхи розробки дескрипторів для уникнення цих проблем.

2. Контроль рівня володіння: Бідьш конкретним застосуванням шкал дескрипторів до аспектів компетенцій з розділу 5 є надання відправних положень для розробки критеріїв оцінювання. Приводячи особисті, безсистемні враження до виважених суджень, такі дескриптори можуть допомогти розробити взаємоприйнятні рамки рекомендацій між групами експертів, про які йдеться.

Є три головні способи, якими дескриптори можуть бути представлені для використання як критерії контролю:

• По-перше, дескриптори можуть бути представлені у вигляді шкали, де часто комбінуються дескриптори для різних категорій в одному цілісному параграфі на кожний рівень. Це дуже загальний підхід.

• По-друге, вони можуть бути представлені як контрольний лист, причому один контрольний лист на кожен відповідний рівень, часто з дескрипторами, згрупованими певним чином, напр., по категоріях. Контрольні листи менше використовуються для "живого" контролю.

• По-третє, вони можуть бути представлені як сітка відібраних категорій, щось на зразок набору паралельних шкал для окремих категорій. Цей підхід дає можливість провести діагностичний зріз. Проте існують обмеження щодо кількості категорій, з якими можуть працювати експерти.

Є два різні способи, за допомогою яких можна створити сітку підшкал:

Шкала Рівнів Володіння: шляхом створення сітки зрізів, де визначаються відповідні рівні для певних категорій, напр., від Рівня А2 до В2. Тоді експертиза проводиться відповідно до цих рівнів, по можливості застосовуючи подальші уточнення, такі як друга цифра або плюс, щоб дати, якщо потрібно, більшу диференціацію. Так, навіть якщо тест на рівень володіння був призначений для Рівня В1, і навіть якщо жоден учень не досягнув Рівня В2, було б цілком можливим оцінити рівень підготовки сильніших учнів категоріями В1+, В1++або В1.8.

Екзаменаційна Рейтингова Шкала: шляхом відбору або визначення дескриптора для кожної відповідної категорії, який описує потрібний прохідний стандарт чи норму для окремого модуля або іспиту з цієї категорії. Тоді такий дескриптор називається "Прохідний бал (Pass)" або "3", і шкала є орієнтованою на норму в межах цього стандарту (дуже слабке володіння = "1", відмінне володіння = "5"). Формулювання " 1" та "5" можна було б застосовувати до інших дескрипторів або адаптувати суміжні рівні шкали з відповідного підрозділу розділу 5, або сформулювати дескриптор відповідно до словесного описання як "дескриптор з цифрою/оцінкою "3".

9.2.3 Опис рівнів володіння в тестах та екзаменаційних матеріалах для полегшення порівняння

Шкали Рівнів Загальних Рекомендацій мають полегшити опис рівня володіння мовою, досягнутого згідно існуючих кваліфікацій - і таким чином зробити можливим порівняння систем. Література з питань вимірювання визнає п'ять класичних способів поєднання окремих видів контролю: (1) вирівнювання; (2) градуювання; (3) статистичне усереднення; (4) співвіднесення з рівнем та (5) соціальне усереднення.

Три перші способи є традиційними: (1) подає альтернативні версії однієї і тієї ж експертизи/ тесту (вирівнювання); (2) приводить результати різних експертиз/тестів до загальної шкали; (3) вносить корективи, якщо матеріали експертизи/тестів надто складні або експерти надто сурові (статистичне усереднення).

Два останні способи включають визначення загального розуміння шляхом обговорення (соціальне усереднення) та порівняння розроблених зразків із стандартизованими визначеннями та прикладами співвіднесення із рівнем. Підтримка процесу виведення загального розуміння є однією з цілей Рекомендацій. Ось чому шкали дескрипторів, призначених для такого використання, були стандартизовані на основі строго розробленої методології. В освітній галузі цей підхід все частіше описується як стандартизований контроль. Загальновідомо, що розробка стандартно-орієнтованого підходу займає певний час, оскільки партнерам необхідно усвідомити й зрозуміти значення стандартів з допомогою практичної діяльності та обміну думками.

Можна констатувати, що цей підхід є найбільш жорстким методом поєднання, тому що включає розробку та узаконення загального бачення предмета. Головною причиною того, чому важко поєднати результати оцінювання володіння мовою, не зважаючи на статистичну магію традиційних технологій, є те, що вимірюються, головним чином, докорінно різні речі, навіть при спробі контролювати одні й ті ж сфери. Це, зокрема, обумовлено (а) недостатньою концептуалізацією та недостатньою операціоналізацією предмета і (б) відносною інтерференцією з боку метода тестування.

Рекомендації пропонують принципово новий підхід до розв'язання першого питання і підкреслюють важливість цієї проблеми відносно навчання сучасних мов у Європейському контексті. У розділах 4-7 розроблені дескриптивні схеми, що є спробою концептуалізувати використання мови, компетенції та процеси практичного викладання і вивчення, що допоможе партнерам операціоналізувати комунікативне мовне вміння, яке б ми хотіли сформувати.

Шкали дескрипторів дають концептуальну сітку, яку можна використати, щоб:

а) узгодити одна з одною національні та установчі рекомендації за допомогою Загальних Рекомендацій;

б) відобразити цілі окремих іспитів і курсових модулів, використовуючи категорії та рівні шкал.

У Додатку А читачам пропонується огляд методів розробки шкал дескрипторів та їх узгодження зі шкалою Рекомендацій.

"Керівництво для Користувачів-Екзаменаторів", розроблене ALTE (Документ CC-Lang (96) 10 rev), дає детальні рекомендації щодо визначення значущості тестів та уникнення непотрібних диспропорцій (хоча тестова методика є ефективною).