- •Міністерство освіти і науки України
- •Григорій Коссак основи педагогічних вимірювань та моніторингу якості освіти Тексти лекцій
- •Передмова
- •Розділ 1. Поняття та категорії педагогічної діагностики. Валідність і надійність тестів.
- •1.1. Діагностика, вимірювання, оцінювання.
- •1.2. Критерії якості методу виміювання
- •1.3. Надійність вимірювання
- •1.4. Завдання в тестовій формі, їх характеристика та вимоги до них
- •Рекомендована література:
- •Розділ 2. Форми тестових завдань.
- •2.1. Нормативно-орієнтовані та критерійно-орієнтовані тести
- •2.2. Класифікація педагогічних тестів
- •2.3. Принципи формулювання тестових завдань
- •2.4. Завдання з вибором однієї правильної відповіді
- •2.5. Завдання з вибором декількох правильних відповідей
- •Розділ 3. Комп’ютерні технології в тестуванні. Розробка валідного педагогічного тесту.
- •3.1. Процес розробки тестів
- •3.2. Принципи розробки банків завдань
- •3.3. Комп’ютерні технології в тестуванні
- •3.4. Адаптивне тестування
- •Розділ 4. Моніторинг в освіті. Зовнішнє незалежне оцінювання.
- •4.1. Моніторинг в освіті, його мета та значення
- •4.2. Застосування моніторингу у різних сферах суспільної діяльності
- •4.3. Історія розвитку моніторингу якості освіти
- •4.4. Чинники, що впливають на результати моніторингу
- •4.5. Рівні проведення моніторингових досліджень
- •4.6. Зовнішнє незалежне оцінювання, нормативно-правова база
- •4.7. Організаційно-методичне забезпечення та підготовка учнів до зно
- •Рекомендована література:
- •Розділ 5. Тема: Міжнародні моніторингові порівняльні дослідження якості освіти.
- •5.1. Міжнародні порівняльні дослідження в освітніх галузях
- •5.2. Timss – міжнародне дослідження з оцінювання якості математичної та природничонаукової освіти
- •5.3. Pisa – міжнародна програма оцінювання освітніх досягнень учнів у сфері функціональної грамотності
- •5.4. Рirls – міжнародна програма вивчення якості читання та розуміння тексту
- •5.5. Civics – міжнародне дослідження з громадянської освіти
- •5.6. Sites –міжнародне дослідження інформаційних і комунікаційних технологій (ікт) в освіті
3.2. Принципи розробки банків завдань
Використання технології банків завдань може значно спростити підготовку оцінок, а також покращити якість завдань та вдосконалити якість оцінок. Завдяки програмам банків завдань забезпечується введення та збереження завдань, їх пошук, відображається історія завдань та створюються тести.. Деякі програми також містять супутні програми оцінки, аналізу та звітності.
Банк завдань – це набір тестових завдань, які можна використовувати під час розробки екзаменів. Банк завдань та його програмне забезпечення можна використовувати будь-де, не витрачаючи зайвих зусиль та коштів на розробку нових завдань для тестування. Ним може користуватись і вчитель малої групи учнів, і викладач університету, який веде декілька потоків, і директор підприємства, що здійснює багатоаспектні програми сертифікації, ліцензування, підзвітності або нормовані дослідницькі тести.
Банк завдань є функціональним і підтримує високу якість завдань за умови забезпечення високої якості всіх завдань та можливості їх легкої зміни та редагування.
Технології банків завдань корисні для всіх, хто здійснює оцінювання. В галузі освіти ця група включає всіх шкільних вчителів, викладачів університетів, керівників загальносистемних програм тестування, керівників державних програм тестування, та тих, хто проводить оцінку спеціальних проектів.
Існує три основні функції, які виконує банк завдань:
Введення та зберігання завдань.
Пошук завдань для їх перегляду, формування тестових варіантів, внесення змін до завдань та їх оновлення.
Ведення історії завдання.
Можливості створення банку завдань включають все від використання стандартних банків завдань для створення різних варіантів тестів, до програм генерування завдань з алгоритмів та створення тести для специфікацій з будь-якими можливими варіаціями. Користувачі мають різні потреби в залежності від обставин. До появи комп’ютерів найбільш розповсюдженим видом банку завдань були картотеки із картками завдань. Вчителі могли обирати завдання для тесту, друкувати їх на аркуші паперу, та використовувати копіювальний апарат для їх розмноження.
Сьогодні, великі, складні програми тестування мають вигляд комп’ютерних файлів-завдань, із яких розробляється програма оцінки. Час від часу завдання оновлюються, що дає можливість отримувати статистичні дані щодо виконання завдань. Деякі з програм тестування використовують ці файли для проведення індивідуально-орієнтованих тестів, в яких завдання обираються за ступенем складності з урахуванням відповіді на попереднє запитання.
3.3. Комп’ютерні технології в тестуванні
Сучасні комп’ютерні технології надають можливість пропонувати більш гнучкі і зручні варіанти проведення тестування. Можна легко уявити перехід від досить розповсюдженої одноденної схеми тестування до таких схем тестування, які б надавали змогу більш гнучкого і безперервного тестування, а також адміністрування тестування за наявності бажаючих. В основному, традиційні бланкові тести надають тільки найбільш базові дані і інформацію, необхідну для класичного психометричного аналізу – процентні показники рівня складності завдань, відносно простий аналіз відповідей на завдання, і т.д. Щоб покращити валідність системи оцінювання, необхідні більш змістовні завдання і дані. Комп’ютерне тестування має потенціал надзвичайно збагачувати дані для подальшого аналізу і звітування, включаючи, наприклад, хронометричні дані, комплексні відповіді екзаменованого, і застосування більш складних психометричних моделей підрахунку.
Попри зростаючу складність систем комп'ютерного оцінювання, тести професійного спрямування зазвичай основуються на старих письмових тестах. Нові інноваційні розробки стають дедалі популярнішими. Тести також можуть бути інноваційними, зокрема, коли тест є інноваційним за своїм змістом. Процес складання тестів також може бути інноваційним та основуватись на комп'ютерних технологіях. Комп'ютерне тестування, зокрема, використовує такі інноваційні методики як аудіо та відео засоби. Дресгоу, Олсон-Бухенен і Моберг (1999) наводять приклад інтерактивного відео оцінювання, в якому використовуються відео заставки із завданнями і варіантами відповідей. Також можна застосовувати симуляцію для створення враження роботи над реальною ситуацією.
Інноваційні за змістом тести використовують динамічніші елементи, такі як функція “переносу” чи інші подібні операції Windows, замість звичайних функцій вибору мишкою як у звичайних письмових тестах.
Впровадження інновацій у змісті тестів часто розглядається як новий метод розробки змісту. Нові методи розробки тестів забезпечують виникнення нових видів тестів і більш продуктивне використання існуючих тестів. Бертрам, Готерс і Лоренц (2002) описують використання генеративних технологій для розробки великої кількості тестів на виконання завдання і надання простої відповіді для тестування пілотів. Навіть зростаюча вартість навчання і збільшення ризиків, або й обох аспектів не зменшує важливість розвитку нових методів і завдань тестування. Будь-які інновації є досить дорогими, а вищевказані види тестів вимагають проведення значних досліджень і розробки. Проте отриманий досвід після проходження тестів позначиться потім на професійній діяльності у будь-якій сфері.
Комп'ютерне програмне забезпечення надає змогу записувати інформацію про складений тест. Можна побачити витрачену кількість часу на відповідь. Фіксуються також інформація про вибір відповіді, а також всі зміни, здійсненні під час тестування. Комп'ютерне тестування використовується все частіше. Це зумовлено не лише розвитком інтерфейсів, але й стрімким зростанням об'ємів та доступності технічних засобів. Доступ до мережі Інтернет зараз можливий майже з будь-якої домівки і за невеликі гроші. Крім того, можна використовувати електронну пошту та отримувати деякі послуги цифрових телевізійних систем. У новому тисячолітті з’явилося перше покоління мобільних телефонів з WAP, через який можна бездротово заходити в Інтернет. Технологія 3G буде доступна вже в найближчі роки. Проте технології розвиваються нерівномірно. Навіть в країнах з розвиненою комп’ютеризацію населення залишається дещо консервативним до її використання .
Традиційні бланкові тести подають тестові завдання у фіксованій послідовності і мають мінімальні можливості адаптації представлення завдань. На противагу, в комп’ютерних тестах тестові завдання можуть подаватися кількома способами: лінійним, послідовно в межах розділів, що обираються за випадковим принципом, а також за випадковим принципом в межах розділів, що обираються за таким же принципом. Інші моделі базуються на лінійній моделі підбору завдань „на ходу”, що дозволяє обирати порядок представлення тестових завдань на основі того, як були виконані попередні завдання або розділи.
Бланкові тести зазвичай мають невеликі відмінності в довжині, змісті завдань і обсязі охоплення змісту, а також надійності оцінювання. Комп’ютерне тестування дозволяє досягти такого рівня стандартизації, який не можливо досягнути стандартними методами тестування. Ретельно сконструйовані банки тестових завдань, алгоритми, що відбирають і представляють тестові завдання, обмежений доступ до тестових завдань, а також контроль часу – усе це робить комп’ютерне оцінювання більш послідовним і надійним.
Відповідальні за проведення національних програм оцінювання зазначають, що труднощі бланкового тестування як правило з’являються у процесі складання завдань, перед і після адміністрування тестування. Звичайно, перед тестуванням значні зусилля витрачаються на визначення і забезпечення пунктів тестування, набір відповідальних та інструкторів, складання і друк тестових зошитів, та доставку і зберігання тестів. Після проведення тестування необхідно зробити ще більше роботи – збір тестових зошитів, сканування і оцінювання бланків відповідей – усе це дуже інтенсивна робота, яка потребує багато часу. Комп’ютерне тестування дозволяє використовувати технології для спрощення логістики адміністрування тестування і спрямування ресурсів на забезпечення валідності тесту і покращення контролю якості.
Комп’ютерні технології підвищуть швидкість правильність виставлення балів і їх оприлюднення. Національні тестові агенції, часто під значним впливом громадськості, зараз мають змогу швидше надавати результати тестування екзаменованим, освітянам і політикам. Також пришвидшеним наданням результатів можуть скористатися ті, хто використовує ці результати, наприклад, адміністратори та інші відповідальні особи освітніх закладів, що мають приймати швидкі, але зважені рішення щодо вступу.
