- •Міністерство освіти і науки України
- •Григорій Коссак основи педагогічних вимірювань та моніторингу якості освіти Тексти лекцій
- •Передмова
- •Розділ 1. Поняття та категорії педагогічної діагностики. Валідність і надійність тестів.
- •1.1. Діагностика, вимірювання, оцінювання.
- •1.2. Критерії якості методу виміювання
- •1.3. Надійність вимірювання
- •1.4. Завдання в тестовій формі, їх характеристика та вимоги до них
- •Рекомендована література:
- •Розділ 2. Форми тестових завдань.
- •2.1. Нормативно-орієнтовані та критерійно-орієнтовані тести
- •2.2. Класифікація педагогічних тестів
- •2.3. Принципи формулювання тестових завдань
- •2.4. Завдання з вибором однієї правильної відповіді
- •2.5. Завдання з вибором декількох правильних відповідей
- •Розділ 3. Комп’ютерні технології в тестуванні. Розробка валідного педагогічного тесту.
- •3.1. Процес розробки тестів
- •3.2. Принципи розробки банків завдань
- •3.3. Комп’ютерні технології в тестуванні
- •3.4. Адаптивне тестування
- •Розділ 4. Моніторинг в освіті. Зовнішнє незалежне оцінювання.
- •4.1. Моніторинг в освіті, його мета та значення
- •4.2. Застосування моніторингу у різних сферах суспільної діяльності
- •4.3. Історія розвитку моніторингу якості освіти
- •4.4. Чинники, що впливають на результати моніторингу
- •4.5. Рівні проведення моніторингових досліджень
- •4.6. Зовнішнє незалежне оцінювання, нормативно-правова база
- •4.7. Організаційно-методичне забезпечення та підготовка учнів до зно
- •Рекомендована література:
- •Розділ 5. Тема: Міжнародні моніторингові порівняльні дослідження якості освіти.
- •5.1. Міжнародні порівняльні дослідження в освітніх галузях
- •5.2. Timss – міжнародне дослідження з оцінювання якості математичної та природничонаукової освіти
- •5.3. Pisa – міжнародна програма оцінювання освітніх досягнень учнів у сфері функціональної грамотності
- •5.4. Рirls – міжнародна програма вивчення якості читання та розуміння тексту
- •5.5. Civics – міжнародне дослідження з громадянської освіти
- •5.6. Sites –міжнародне дослідження інформаційних і комунікаційних технологій (ікт) в освіті
1.4. Завдання в тестовій формі, їх характеристика та вимоги до них
Для педагогічної теорії вимірювання результатним є поняття “педагогічне завдання”. Це поняття є загальним, що охоплює мету і сенс всіх можливих завдань. Воно включає такі засоби, як питання, завдання, навчальна проблема та інші.
Педагогічне завдання можна визначити як засіб інтелектуального розвитку, утворення і навчання. При цьому інтелектуальний розвиток визначається як здатність розуміти, міркувати, логічно аргументувати, знаходити закономірності в явищах і в змінах об'єктів, критично оцінювати мислення, своє і інших осіб, рівно як і діяльність.
Педагогічне завдання активізує процес власної пізнавальної діяльності учнів, підвищує якість знань учнів і студентів, а також підвищує ефективність педагогічної праці. Педагогічні завдання формулюються як в тестовій, так і в нетестовій формі. Завдання корисно розділити на повчальні і контролюючі. Перші застосовуються в учбовому процесі для розвитку особи, другі, - педагогами або органами управління освітою після закінчення учбового періоду з метою визначення рівня і структури підготовленості. Велика частина завдань може використовуватися для навчання і для контролю.
Тест складається не із завдань в тестовій формі, не з питань і завдань, а тільки з тестових завдань. Визнання цієї логіки дозволяє побачити зв'язок між поняттями науки і культурою проведення педагогічних вимірювань в практику.
Завдання в тестовій формі тільки зовні схожі на тестові завдання. Але цього недостатньо для включення перших в тест. Якщо тест розуміти як єдність змістовній і формальних систем, то знадобиться обов'язкова перевірка статистичних і математичних властивостей кожного завдання в тестовій формі. І лише ті, які витримують таку перевірку, можуть бути названі тестовими завданнями.
Тестове завдання – це складна одиниця тесту, що відповідає вимогам до завдань у тестовій формі і, крім того, статистичних вимог:
відомій складності;
диференціюючій здібності (достатній варіації тестових балів);
позитивній кореляції балів завдання з балами по всьому тесту.
З трьох перерахованих вимог до тестових завдань витікає обов'язковість емпіричної перевірки завдань на вибірковій сукупності випробовуваних і застосування статистичних методів обробки даних.
Складена одиниця означає, що кожне завдання є частиною нерозривного цілого, тесту, який є системою завдань. І кожне завдання необхідне для виконання тестом своєї функції. Видалення хоч би одного системного завдання приводить до виникнення пропуску на континуумі знань, що перевіряються, а значить, і до зниження якості вимірювання.
Тестове завдання має відповідати також вимозі чистоти форми і наочної чистоти змісту. Під першою розуміється необхідність ретельного дотримання розглянутих раніше вимог до кожної форми і неприпустимості змішення форм в одному завданні. Під чистотою змісту розуміють необхідність формулювання таких завдань, які перевіряють знання тільки тієї навчальної дисципліни, для якої створюється тест.
Складність завдань. Відома міра складності є обов'язковою вимогою до тестових завдань. Складність завдання спочатку визначається умоглядно, на основі передбачуваного числа і характеру розумових операцій, необхідних для успішного виконання завдань. Потім слідує емпірична апробація, з підрахунком частки неправильних відповідей < 7.
Варіація тестових балів. Якщо на певне завдання правильно відповідають всі тестовані, то таке завдання є настільки легким, що воно втрачає через це істотну властивість бути тестовим завданням. Немає варіації і в дуже важкому завданні, де немає жодної правильної відповіді; у матриці стоять, відповідно, одні нулі. Варіація по йому теж рівна нулю, що означає необхідність видалення його з проектованого тесту. Воно не тестове.
Педагогічний тест визначається як система паралельних завдань зростаючої трудності, специфічної форми, яка дозволяє якісно і ефективно зміряти рівень і структуру підготовленості випробовуваних. Тест як метод і тестові результати потребують такої інтерпретації результатів, яка адекватна меті тестування. Тому тест треба розглядати як єдність: 1) методу; 2) результатів, одержаних певним методом; і 3) інтерпретованих результатів, одержаних певним методом.
Інтерпретація результатів тестування ведеться переважно з опорою на середню арифметичну, показники варіації тестових балів і на так звані процентні норми, що показують, – скільки відсотків випробовуваних мають тестовий результат гірший, ніж у випробовуваного, що цікавить. Така інтерпретація тестових результатів називається нормативно-орієнтованою.
Всі три поняття – завдання в тестовій формі, тестове завдання і тест – відповідають трьом основним етапам розробки педагогічних тестів. Перший етап починається з розробки задній в тестовій формі. Другий етап - статична перевірка завдань, з метою обгрунтування їх як тестові. Третій етап – розробка тесту.
Завдання в тестовій формі – перше основне поняття педагогічної теорії вимірювань. Воно визначається як педагогічний засіб, що відповідає наступним вимогам: мета; стислість; технологічність; логічна форма вислову; визначеність місця для відповідей; подібність правив оцінки відповідей; правильність розташування елементів завдання; подібність інструкції для всіх випробовуваних; адекватність інструкції формі і змісту завдання.
За допомогою перерахованих вимог з'являється практична можливість відрізнити завдання в тестовій формі від інших.
Мета. Кожне завдання створено для певної мети, а тому, можна сказати інакше, має свою місію і свої характеристики. Наприклад, завдання можуть створюватися для слабких учнів або для інтелектуально обдарованих, для самостійної роботи, комп'ютерної перевірки рівня підготовленості, для атестації або професійного відбору. Залежно від мети, деякі характеристики завдань можуть мінятися, особливо по труднощі змісту.
Стислість, як вимога, забезпечується ретельним підбором слів, символів, графіків, що дозволяють мінімумом засобів добиватися максимуму ясності смислового змісту завдання. Виключаються повтори, малозрозумілі, що рідко вживаються, а також невідомі для учнів символи, іноземні слова, що утрудняють сприйняття сенсу.
Технологічність. Під технологічністю можна розуміти таку компоновку завдань, яка дозволяє весь процес тестування, або його велику частину, вести за допомогою технічних засобів, точно, швидко, економічно і об'єктивно.
Логічна форма вислову – це засіб впорядкування і ефективній організації змісту тесту. Вона є універсальним засобом чіткого виразу думки людиною, здатною проявити знання по учбовій дисципліні, що вивчається.
Визначеність місця для відповідей є однією із зовнішніх і сутнісних ознак завдання в тестовій формі. У завданнях з вибором відповідей – це код (цифри або букви) необхідної відповіді, з числа тих, що додаються до кожного завдання. У завданнях відкритої форми відповідь пишеться замість прочерку, належного за текстом завдання. У завданнях на встановленні відповідності відповіді або пишуться в спеціально відведеному для цього рядку нижче за текстом кожного завдання, або фіксується за допомогою так званої "миші" при комп'ютерному тестуванні. І, нарешті, в завданнях на встановленні правильної послідовності випробовуваний ставить ранги в спеціально відведеному для цього місці.
Подібність правив оцінки відповідей в рамках прийнятої форми є важливим засобом організації процесу педагогічних вимірювань. Жодному випробовуваному не даються ніяких переваг перед іншим, всі відповідають на одні і ті ж завдання, всім дається однаковий час.
Адекватність інструкції формі і змісту завдання означає взаємну відповідність компонентів, що необхідне для виконання завданням своєї функції. Умова адекватності дозволяє довести до свідомості випробовуваних всі вимоги, закладені в змісті завдання.
Завдання для контролю та самоперевірки: 1. Які основні умови ефективності моніторингу? 2. чим визначається опосередкований вплив моніторингу? 3. чим відрізняється вимірювання те метод вимірювання? 4. Охарактеризуйте види вимірювання. 5. На яких основних теоретичних положеннях ґрунтуються вимірювання орієнтовані на норми? 6. Які основні критерії визначають вибір того чи іншого методу вимірювання? 7. Охарактеризуйте валідність як комплексну характеристику тесту. 8. Охарактеризуйте види валідності. 9. Що визначає стандартна похибка вимірювання. 10. Чим валідний тест відрізняється від невалідного? 11. Як визначити похибку вимірювання? 12. Основні вимоги до тестових завдань.
