Конструювання завдань для тестів різних видів

Зверніть увагу на той факт, що від правильності розроблення завдань для тестів інтелекту та досягнень залежить ефективність тесту загалом. Про це свідчить велика кількість спеціальних робіт, присвячених проблемі діагностування інтелекту та досягнень. Матеріал, що містить дана тема, представлений за даними П.Клайна, оскільки цей автор найбільш ґрунтовно розкриває різноманітні аспекти проблеми конструювання завдань для тестів інтелекту та досягнень.

Особливості інструкції для тестів інтелекту полягають у тому, що до неї бажано додавати приклади виконання завдань, які допомагатимуть зрозуміти інструкцію. Добре, якщо дослідник подає інструкцію як частину до-тестової процедури, де після роз'яснення випробуваному пред'являється найпростіше завдання, яке дають можливість упевнитися в тому, що він зрозумів все вірно.

Існує велике різноманіття завдань для тестів інтелекту різних типів. Ми розглянемо для прикладу завдання на виявлення аналогій, виключення зайвого та послідовності.

Аналогія — тип завдань, який складається з двох частин, у першій з яких подано приклад певного зв’язку між парою об’єктів, а у другій - третій об’єкт та варіанти вибору для нього пари. Випробуваному пропонується обрати з поданих варіантів такий, що співвідноситься з третім об'єктом так само, що й другий з першим. Для цього випробуваний повинен правильно визначити відносини аналогії, закладені у основу завдання.

Наприклад: рік – весна, життя – ……

а) радість,

б) старість,

в) народження,

г) юність,

д) навчання.

або: 25 так відноситься до 10, як 53 — до ...

а) 2, б) 8, в) 31, г) 15, д) 24;

Варіанти відповідей («а», «б», «в» ……) називають дистракторами (від англ. distract — відвернення уваги). Отже, дистрактори - всі ті варіанти відповідей, близькі до правильної, з яких випробовуваний має вибрати єдиний вірний.

Для того, що у випробуваних не формувалися навички вирішення завдань цього типу їх можна варіювати. Наприклад: Даються два слова. Випробовуваний повинен із запропонованого йому списку дистракторів вибрати той елемент, який однаково співвідноситься з цими двома словами (такі завдань особливо доречні в тестах високого рівня, призначених для освічених випробовуваних).

Виключення зайвого – це завдання, в яких випробовуваному пред'являється список об'єктів, слів, фігур, чисел тощо - а випробовуваний повинен вибрати таке, що в цьому списку зайве. Щоб зробити це, він повинен знайти загальні закономірності відношення між елементами списку, на підставі яких і робити висновки про їх подібність або відмінність.

Наприклад:

горобець, шпак, гусак, кажан, ластівка

Ці типи завдань вважаються дуже корисними для тестів інтелекту, оскільки:

- в них, використовуючи досить прості об’єкти, можна закласти відносини різної складності, що робить завдання відповідними для всіх вікових груп і рівнів розвитку.

- вони можуть бути оформлений в невербальному виді (геометричні фігури, букви алфавіту, цифри), що є ідеальним при тестуванні текучих здібностей.

Наприклад: знайдіть зайву літеру з ряду

А, С, Д, Н, Ж.

Послідовності – тип завдань, у яких випробуваному пропонується ряд об’єктів (слів, чисел, фігур тощо), розташованих у певному порядку. Його задача – виявити закономірність цього розташування, и продовжити ряд відповідно до неї.

Наприклад:

2, 4, 6, 8, 10, 12, 14 …;

або прогресивні матриці Равена

Для того, що у випробуваних не формувалися навички вирішення завдань певного типу їх можна варіювати. Варіанти послідовностей:

1) Знаходження деякого середнього елементу, в не крайнього по розташуванню.

2) Доповнення ряду не наступним елементом, а через один або ще більш дальнім.

3) Переупорядкування елементів відповідно до виявленої послідовності.

Це не всі типи завдань до тестів інтелекту. Однак, використовуючи ці три типи можна створити їх велику кількість ефективних завдань для вимірювання інтелекту на різноманітному матеріалі і різного рівня складності.

Правила конструювання завдань до тестів інтелекту:

1) обдумайте відношення, з яким буде пов'язано дане завдання;

2) дайте приклад цього відношення в завданні;

3) переконайтеся, що компоненти завдання випадковим чином не утворюють інші відносини, що приводять до альтернативних рішень;

4) за винятком роботи з освіченими випробовуваними, обирайте настільки простий матеріал для завдань, наскільки можливо.

Запам’ятайте! При конструюванні завдань мистецтво полягає в пошуку цікавих (а у разі складних завдань — неочевидних) відносин між об’єктами, що дозволяє випробовуваним виявляти ці відносини, — а в цьому і полягає сутність інтелекту. Труднощі виконання завдання повинні полягати в природі відносин, які необхідно розкрити, а не у вузькій спеціалізованості використаного матеріалу.

При формулюванні завдань тестів спеціальних здібностей та досягнень постає подвійна проблема: проблема форми і змісту.

Найважливішою складовою цих тестів є зміст, який забезпечує об'єктивність оцінювання. Щодо форми, вона пов’язана зі змістом, оскільки певні типи завдань підходять до певного виду матеріалу краще, ніж інші.

Отже, розробники тесту повинні перш за все знайти ідеальний зміст тесту, а потім знайти форму завдання, яка б найкращим чином представила зміст.

Для забезпечення адекватності змісту тесту запрошується ряд експертів, які указують, що саме повинні знати люди різного віку по різних предметах. Такі експерти повинні уміти зважити важливість в тесті одного аспекту предмету по відношенню до інших, сформулювати цілі навчальних курсів, так щоб можна було бачити релевантність завдань по відношенню до цих цілей. Також важливо, щоб означені цілі навчання були сформульовані в поведінкових, і отже, легко тестованих термінах.

Розглянемо особливості формулювання завдань з варіантами вибору, альтернативних завдань, завдань на відновлення відповідності та деяких інших.

Завдання з варіантами вибору – це тип завдання, яке складається з двох частин: основної частини, яка містить твердження або питання і варіантів вибору, або декількох можливих відповідей, з яких випробовувані повинні вибрати правильну. Зазвичай таких варіантів чотири або п'ять.

Наприклад: Властивості особистості, які формуються в результаті активної навчально-пізнавальної діяль­ності і передбачають високий рівень умілості в певній частині діяльності — це: а) знання; б) уміння; в) здібності; г) навички; д) компетенції.

Правила формулювання ефективних завдань з варіантами вибору.

1) Простота. Завдання повинне бути записано настільки просто, наскільки це можливо для його точного розуміння. Небажано, щоб на результати впливав рівень словарного запасу випробовуваного або його загальні здібності.

2) Всі дистрактори (невірні варіанти відповідей) повинні бути такими, щоб кожний з них міг привернути увагу випробовуваних (тобто бути як би "схожими" на правильну відповідь).

3) Тільки один варіант із запропонованого набору повинен відповідати правильній відповіді. Іноді різні погляди на одну і ту ж проблему можуть привести до непередбаченої відповіді, яка теж буде правильною.

4) Відповідь на одне питання не повинна давати ключа до відповідей на інші. Тобто не слід використовувати дистрактори з одного завдання в переліку інших.

5) Не слід тестувати тривіальне лише тому, що завдання сформулювати легко.

6) Сама проблема повинна міститися в основній частині завдання, а варіанти вибору повинні бути короткими.

7) Якомога рідше використовувати заперечення в основній частині з двох причин: а) це приводить до суперечностей при читанні і б) за винятком окремих випадків, негативні знання не настільки важливі, як позитивні.

8) Використання виразу «жоден з перерахованих» або «всі перераховані» як дистрактора допустиме тільки тоді, коли існує недвозначна правильна відповідь, - як, скажімо, в завданнях, пов'язаних з алфавітом або математичними поняттями.

Переваги завдань з варіантами вибору:

1) Кожне завдання може бути високо надійним, оскільки в них виключені суб'єктивні оцінки осіб, що проводять обстеження.

2) Для таких завдань дуже легко підраховувати оцінки. Кожна відповідь порівнюється з ключем, після чого підраховуються всі правильні відповіді. Можлива навіть комп'ютерна обробка відповідей, нанесених на спеціальні бланки.

3) Низька вірогідність відгадування. За умовою, що дистрактори приблизно еквівалентні, вплив відгадування на результат тесту зводиться до вірогідності 1/5.

Альтернативні завдання - це форма завдання, що містить певне твердження, яке випробовуваний повинен оцінити як істинне або помилкове (дати відповідь «так» чи «ні»).

В завданнях такого типу існує ряд складнощів, через що їх використовувати слід обережно:

1) Вірогідність випадкового відгадування правильної відповіді - 50%.

2) Досить важко формулювати твердження, на які можна дати недвозначну відповідь "так" чи ні".

3) Те, що поза сумнівом істинно або помилково, як правило є тривіальним, тому завдання можуть виявитися змістовно слабкими.

Не дивлячись на ці проблеми, завдання альтернативного типу можуть бути корисним і коротким прийомом для виявлення знань випробовуваних при:

1) тестуванні розуміння тільки-що викладеного матеріалу;

2) дуже докладній перевірці знань.

Запам’ятайте! Важливим чинником, що впливає на результати тестування тут може бути випадкове вгадування правильних відповідей, тому формулювати їх слід дуже ретельно.

Завдання на відновлення відповідності – тип завдань, в яких випробовуваному пропонується відновити відповідність між елементами двох списків.

Наприклад: Встановіть лініями відповідність між частинами двох рядків

А) Л.М.Толстой	1. Соляріс
	2. Сорочинський ярмарок
Б) М.В.Гоголь	3. Анна Кареніна
	4. Вони були смагляві й золотоокі
В) Р.Бредбері	5. Вій
	6. Війна і мир
Г) С.Лем	7. Едем
	8. Усмішка

Завдання на відновлення відповідності найкраще підходять для виявлення фактичної інформації, вони є найкомпактнішими, дозволяють економити простір бланку, вирішують проблему використання однакових дистракторів у різних пунктах.

Запам’ятайте! Важливою умовою розробки ефективних завдань на відновлення відповідності є неоднакова кількість елементів двох списків.

Список, з якого вибираються відповіді, повинний бути довше, ніж перший список, інакше випадкове відгадування стане легким. Якщо випробовуваний знає чотири з п'яти відповідей в однакових по довжині списках, то п'ятий буде неминуче правильним.

Зауважимо також, що завдання цього типу досить часто виявляються змістовно слабкими, тривіальними, оскільки фактична інформація, яка може бути закладена до їхнього змісту, має несуттєве для науки значення.

Завдання з обмеженнями на відповіді - тип завдань, у яких випробовувані мають давати власні відповіді, проте можливості їх написання певним чином обмежені. Це забезпечує об'єктивність оцінювання показників завдань, за умовою ретельного їх формулювання таким чином, щоб правильна відповідь була лише одна.

Наприклад: Вставте пропущені слова: «Академічний рік у ВНЗ України поділяються на ____ семестри, кожний з яких складається з ______________ тижнів».

Завдання з вільними відповідями – це тип завдань, де на відповіді не накладаються обмеження. Випробовувані можуть писати що завгодно. Проте ретельне формулювання завдань також припускає наявність тільки однієї правильної відповіді.

Наприклад: Які дві умови необхідні для того, щоб чутка про когось розповсюдилась?

Переваги завдань з обмеженнями на відповіді та з вільними відповідями:

1. вони складніші за інші типи завдань;

2. більш подобаються випробуваним;

3. в ним може бути закладена більш змістовна інформація.

Недоліки цих завдань у тому, що вони виключають автоматизований підрахунок показників, що припускає суб’єктивне оцінювання відповіді та наявність певної спеціалізації того, хто проводить оцінювання.

Обираючи тип завдань для тестів досягнень слід звернути увагу на пораду П.Клайна спробувати сконструювати завдання кожного типу та обрати з них найбільш вдале. Іноді це просто неможливо. Загальна закономірність зв’язку змісту інформації з типом завдання така:

1) До більшості видів інформації підходить тип завдання з варіантами вибору.

2) Для отримання докладної фактичної інформації найкраще використовувати завдання на відновлення відповідності і альтернативні завдання.

3) Для тестування розуміння матеріалу, особливо корисні альтернативні завдання.

При цьому основними критеріями вибору типу завдання при всіх однакових умовах є такі:

1) зрозумілість;

2) запобігання випадкового вгадування;

3) компактність;

4) відсутність відносин між завданнями;

5) найменша представленість цього типу у тесті.

Важливим питанням для тестів досягнень є впорядковування завдань тесту. Правила для впорядкування завдань такі:

1) Завдання кожного типу розташовуються разом, що дозволяє дати одну інструкцію для кількох завдань.

2) Розташування завдань відповідно до зростання їхньої трудності, що дозволить запобігти випадків, коли дуже старанний випробовуваний витрачає зайвий час на завдання, які він не може вирішити і, таким чином, позбавляє себе можливості спробувати виконати інші, за які він міг би одержати бали.

3) Розташування матеріалу не за темами а випадково, що знижує монотонність і пов'язане з нею стомлення.

4) Час виконання завдань обмежується 1½ години для дорослих, та ще менше – для дітей.

Запам’ятайте! Сформульованих вами завдань має бути на третину більше, ніж Ви плануєте залишити у тесті. Адже певна кількість завдань відбракується під час апробації.

Також слід визначити для себе, які специфічні проблеми можуть виникнути при конструюванні пунктів саме особистісного опитувальника, які шляхи усунення цих проблем та засоби підвищення надійності тесту розроблені на сьогодні у психометрії. Адже, як і у разі тестів інтелекту та досягнень, якість окремих завдань є найважливішою для всього опитувальника.

Крім наведеного нижче матеріалу, раджу звернутися до роботи П.Клайна, який у третьому розділі свого довідника дає ґрунтовну характеристику сучасному стану методології конструювання особистісних опитувальників. Він визначає особистісні опитувальники як методики вимірювання особистісних якостей. Там же автор зазначає, що основні труднощі їх конструювання пов’язані з встановленням валідності цієї групи методик.

При розробці завдань для особистысних опитувальників необхідно враховувати наступні проблеми, які можуть призвести до низької валідності тестів:

1. Установка на погодження - тенденція випробовуваних погоджуватися з твердженнями або відповідати на питання «так» незалежно від їх змісту, особливо якщо твердження (питання) неоднозначні.

2. Установка на соціально схвалювані відповіді - тенденція відповідати на питання тесту так, щоб виглядати "соціально позитивним".

3. Установка на невизначені або середні відповіді (наприклад: «невпевнений», «не знаю», або «важко відповісти»), до якої багато випробовуваних схильні вдаватися, як до безпечного компромісу.

4. Установка на «крайні» (розташовані по краях шкали) відповіді, яка виявляється при використовуванні багатоелементною шкалою.

5. Очевидна валідність питань (тверджень), яка призводить до відповідей, які відображують не поведінку випробовуваного, а його думку щодо наявності в нього досліджуваної якості.

6. Відповідність (чи невідповідність) змісту питань (тверджень) ознакам прояву досліджуваного психічного явища.

7. Адекватність вибірки випробуваних генеральній сукупності, яка має безліч особливостей прояву досліджуваного психічного явища, що вимагає апробації методики на великих вибірках.

8. Встановлення адекватного критерію валідності, яка полягає в знаходженні такого критерію.

Враховуючи ці труднощі, особливе значення набуває розробка форми питань (тверджень), яких є досить багато. Ось перелік найефективніших (за П.Клайном) форм:

1. Питання з відповідями «так-ні» (Особистісний опитувальник Айзенка), їх легко формулювати, вони зрозумілі випробовуваним і відповіді на них даються швидко.

2. Альтернативні завдання (з відповідями «правда-брехня»), які складаються з тверджень (часто від першої особи), які випробовувані повинні відзначити як вірні або невірні для них (наприклад: Я ненавиджу втискуватися в переповнений автобус).

3. Завдання з відповідями "подобається-не подобається" (наприклад: 1) ліхтарники; 2) шуби з бобрового хутра; 3) бас-барабан).

4. Завдання з рейтинговими шкалами, які складаються з твердження, до якого додається рейтингова шкала. (наприклад: Мені подобається бувати з друзями в кафе: завжди, дуже часто, часто, як коли, рідко, дуже рідко, ніколи).

5. Трихотомічні завдання (16PF). Прикладами трихотомій є: «зазвичай – іноді – ніколи», «вірно – не знаю – невірно», «так- важко відповісти – ні». Ці варіанти надають більшу гнучкість при формулюванні завдань, ніж жорсткі форми типу "так-ні" (дихотомічна) або альтернативні.

6. Трихотомічні завдання з вибором - це завдання, в яких у продовження речення пропонуються три завершальних фрази, одну з них випробовуваний повинен вибрати (наприклад: Коли мені нічого робити, я можу: а) подзвонити другові, щоб поговорити; б) зайнятися розгадуванням важкого кросворду; в) піти на джазовий концерт".

7. Завдання з вимушеним вибором, де випробовувані примушуються до вибору одного з двох чи більше тверджень (методика Голланда).

Є й інші типи завдань, що використовуються в особистісних опитувальниках. Однак, наведені типи добре апробовані в практиці тестування особистості.

Для того, щоб розробити сукупність тверджень (питань) особистісного опитувальника слід дотримуватись таких інструкцій:

1. Перерахувати особливості поведінки, які характеризують досліджуване психічне явище, шукаючи їх у описах в психологічній літературі.

2. Перетворити опис кожної особливості в твердження (питання), обравши одну з розглянутих форм.

3. Постаратись, щоб призначення кожного завдання не було дуже очевидним.

4. Формулювати кожне завдання зрозуміло і недвозначно.

5. Наскільки можливо, забезпечити, щоб кожне завдання відносилося до якої-небудь конкретної області поведінки.

6. У кожному завданні повинне міститися тільки одне питання або одне твердження.

7. Уникати використовувати терміни частоти і інші суб'єктивні вирази.

8. Завдання повинні торкатися поведінки, а не відчуттів і відносин.

9. Забезпечити через інструкцію, щоб відповіді на завдання давалися швидко.

10. Уникати впливу основних установок на відповіді, таких як установка на погодження та установка на соціально схвалювані відповіді.

а) Вірогідність прояву установки на погодження краще зменшується за рахунок формулювання зрозумілих завдань і використання збалансованих шкал.

Збалансована шкала - шкала, для якої приблизно рівна кількість завдань має ключові відповіді «так» та «ні».

б) Установки на соціально схвалювані відповіді легше за все уникнути шляхом ретельного формулювання завдань.

11. Проведіть перевірку надійності, валідності та дискримінативності отриманої сукупності завдань.

Якщо наведених інструкцій Вам виявиться замало, зазначимо, що П.Клайн більш докладно пояснює різноманітні методичні прийоми запобігання тих труднощів, що були наведені на початку теми. Отже, радимо звернутися до першоджерела.