Розділ 3. Комп’ютерні технології в тестуванні. Розробка валідного педагогічного тесту.

3.1. Процес розробки тестів

Розробка сертифікаційних екзаменів є достатньо довгим та складним процесом. Для того, щоб забезпечити валідність та надійність екзамену необхідно дотримуватися цього процесу. Інша надзвичайно важлива умова сертифікаційного тестування стосується того, наскільки надійним та узгодженим є тестування щодо вимірювання рівня здібностей кандидатів. Надійність є показником того, наскільки точно тестування вимірює навички кандидата та є необхідною умовою досягнення валідності екзамену.

Тестування має бути як неупередженим, так і надійним для того, щоб вважатися добре розробленим та правомірним. Обидві ці якості будуть наявними за умови дотримання суворих стандартів процесу розробки тестів. Процес розробки тестів можна звести до десяти кроків, кожен з яких є засобом забезпечення валідності, надійності, правомірності та безпеки тестування:

1. Проведення аналізу професійних обов’язків.

Зміст тестування має відповідати рівню теоретичних знань, які кандидат бажає реалізувати на практиці. Найбільш поширеним і прийнятним способом встановлення відповідності теоретичних знань у напрямі аналізу подальших професійних обов’язків.

2. Розробка шаблону тесту.

Метою розробки шаблону тесту є визначення властивостей тестування. Цей шаблон в подальшому використовується для забезпечення узгодженості змісту усіх варіантів тесту. Це означає, якщо один кандидат отримає Варіант А, а інший – Варіант Б, то вони будуть складати еквівалентні екзамени. Статистичний аналіз пояснить яким чином можна розробити статистично еквівалентні екзамени. Шаблон тесту має включати щонайменше:

• мету екзамену;

• опис цільової аудиторії;

• загальну кількість завдань для екзамену;

• кількість завдань на одну область/поставлену задачу;

• зміст;

• формат екзамену та види завдань.

3. Розробка завдань.

Після того, як шаблон тесту завершено, розробляється сукупність завдань для виміру кожної поставленої задачі. Кожне завдання пов’язане з проектом тесту через класифікаційну систему. Кількість та вид необхідних завдань, визначаються на стадії проектування тесту. Щоб забезпечити достатню кількість завдань для перевірки тестів, потрібно включити втричі більше завдань. Першим етапом у розробці завдань є створення групи, яка буде розробляти завдання.

Під час створення завдань, особи, що їх складають, мають забезпечити, щоб створені завдання були:

• такими, що мають значення (а саме, важливими для виміру);

• такими, що виявляють рівень знань кандидатів;

• такими, що відповідають призначеній задачі;

• такими, що не містять будь-якого непередбаченого джерела труднощів або підказки відповіді.

Особи, що пишуть завдання, мають усвідомлювати когнітивний рівень завдань, які вони створюють і мають перевіряти усю пізнавальну сферу що включає:

• знання – ідентифікувати, зазначати, вибирати, визначати, надавати перелік, характеризувати, запам’ятовувати принципи, процеси тощо;

• розуміння – розуміти матеріал, що вивчають, розрізняти, наводити приклади;

• застосування – розраховувати, застосовувати вивчений матеріал у нових ситуаціях;

• аналіз – порівнювати та протиставляти, знаходити помилки;

• синтез – проектувати, формувати, запроваджувати, поєднувати окремі частини знань для отримання цілого;

• оцінка – оцінювати, вирішувати, давати остаточну оцінку в рамках поставленої мети.

Існують різні класифікації когнітивної сфери. Не дивлячись на велику кількість суперечок про доцільність таксономії Блума під час написання завдань, ця таксономія стала однією із основних. Наведемо порівняння різних таксономічних систем для когнітивної сфери:

Таксономія В. Блума:

• знання (запам’ятовування);

• розуміння (змісту вивченого);

• застосування (у нових ситуаціях);

• аналізування (розчленити ціле на складові);

• синтезування (створювання цілого з частин);

• оцінювання (визначення цінності засобів для досягнення мети).

Таксономія В. Безпалько:

• знайомство (ідентифікація);

• відтворення (типові завдання);

• вміння (нетипові завдання);

• трансформація, творчість (розв’язування проблем, пошукових задач).

Таксономія М. Скаткіна:

• сприймання, осмислення, запам’ятовування;

• застосування (у типових ситуаціях);

• застосування (у нетипових ситуаціях).

Таксономія Г. Клауса і Ж. Паже:

• примітивна форма сприймання;

• початкове осмислення;

• змістовий (формування понять);

• практично-змістовий (подальше перетворення інформації).

Особи, що створюють завдання, мають звести до мінімуму використання завдань простого рівня та прагнути до розробки завдань, що вимірюють більш високі рівні когнітивного розуміння, оскільки такі завдання дозволять краще виявляти рівень знань кандидатів.

4. Перевірка та узгодження завдань.

Після того, як завдання пройшли початкову перевірку, психометрично-редакційна група має перевірити завдання на предмет їх відповідності стандартам та прийнятим психометричним властивостям. Завдання також перевіряються на предмет відповідності будь-яким специфічним стандартам сертифікаційної організації. На цьому етапі до завдань можуть вноситись основні виправлення. Після того, як такі перевірки завершено, завдання набуває “остаточного” вигляду.

5. Розробка і випуск бета-екзамену.

Після перевірки, редакції та затвердження, завдання включають до сукупності завдань. Сукупність завдань або банк завдань є переліком всіх завдань, які можуть бути використаними під час екзамену. Бета-екзамени проводяться протягом обмеженого проміжку часу. Період його проведення залежить від кількості кандидатів на тестування протягом певного періоду. Основною метою бета-екзаменів є апробація всього банку завдань. Це може потребувати декількох варіантів бета-екзамену, тому організація, що проводиться сертифікацію, забезпечується максимальною кількістю операційних варіантів. Дані, отримані в результаті бета-екзамену, дозволяють організації, що проводить сертифікацію, побачити як кожне завдання може допомогти вирішити непередбачені проблеми до розробки операційного тестування.

6. Аналіз результатів бета-екзамену.

Основною метою бета-екзамену є апробація завдань. Дані звіряють для визначення запланованого ходу виконання завдання. Сертифікуючі організації мають щонайменше розглянути наступну статистику завдань:

• складність завдання;

• диференціююча функція завдань.

Статистика завдань має розглядатися у психометричній проекції.

7. Створення відповідних екзаменаційних бланків.

Коли створюється екзамен, який би відповідав специфікаціям шаблону, розробники мають забезпечити найвищий рівень надійності тестування. Це означає, що якби респонденти проходили екзамен знову, то вони б отримали такі ж результати. Якщо складаються кілька варіантів тесту, то вони мають бути операційно еквівалентними за змістом та статистикою, а також надійними.

Перший етап забезпечення еквівалентності – пересвідчитись, що екзаменаційні варіанти відповідають формату тестів. Другий етап – забезпечення статистичної еквівалентності. Для забезпечення статистичної еквівалентності варіантів застосовується процес ототожнення. Одна з загальних технологій ототожнення сертифікаційних екзаменів є надання різним групам кандидатів загального переліку завдань.

8. Затвердження прохідного балу.

Після того, як екзамени створено, необхідно визначити прохідний бал. Відповідно до принципів тестування затверджуються загально прийняті стандарти, які є більш справедливими та поміркованими, ніж довільні схеми.

Існує дві основні категорії стандартних схем – нормативна та абсолютна. Відповідно до нормативних стандартів рішення щодо того, чи студент здав або не здав іспит, ґрунтується на порівнянні результатів респондента з результатами інших учасників тестування. Процентне співвідношення кандидатів, що складуть іспит визначається ще до проведення тестування. Абсолютні стандарти, які ще називають критеріально-співвіднесеними стандартами, встановлюють певний рівень правильно виконаних завдань. Рішення щодо того, чи студент здав або не здав іспит, приймається відповідно до досягнутого рівня, незалежно від кількості респондентів.

9. Проведення підсумків операційних екзаменів.

Після встановлення прохідного балу екзамен вважається готовим для проведення. Сертифікаційні екзамени створюються для підтвердження рівнем знань професіоналів, які отримують диплом. Валідність оцінки кандидата буде дискредитована за високого впливу практики. Тому необхідно визначити наскільки часто кандидат може проходити повторне тестування протягом певного періоду часу. Сертифікаційна програма Інституту SАS дозволяє проходити тестування не частіше ніж один раз на 2 місяці та не більше трьох разів на рік.

10. Забезпечення безперервного проведення тестування.

Інтервали циклу тестування, статистику рівня завдань та варіантів тестів необхідно чітко визначати. Операційні дані мають порівнюватися з статистикою бета завдань. До того ж, періодична перевірка статистики забезпечує точність відповідей та належне виконання завдань.