Аналіз завдань тесту

Призначення процедури аналізу завдань тесту полягає в тому, щоб відібрати завдання, які формують однорідну, дискримінативну шкалу.

Якщо вже після першої перевірки на надійність і дискримінативність ви одержали задовільні результати, аналіз завдань проводити не обов'язково. Взагалі тоді краще нічого не міняти, оскільки одержати відразу надійний тест – велика рідкість.

Аналіз завдань найчастіше здійснюється через визначення:

а) кореляції кожного завдання із загальним показником по тесту;

б) частки випробовуваних, які дали ключові відповіді за даним завданням.

Статистичні методи, що вживаються при розрахунку кореляції завдань із загальним показником:

1) Коефіцієнт добутку моментів Пірсона «r_ху» використовується у випадку, коли кожне завдання оцінюється за багатобальною шкалою;

2) Крапково-бісеріальний коефіцієнт кореляції «r_pb» – для дихотомічних завдань;

3) Чотириклітинний коефіцієнт кореляції «r_tet» полягає у відборі 27% високих значень тесту і 27% низьких значень тесту з подальшим порівнянням відповідей на кожне завдання в цих двох вибірках.

Ще існує 67 коефіцієнтів для розрахунку кореляції завдань із загальним показником. Якщо вказані вище вас не задовольнять, раджу звернутися до праць, наведених у списку літератури.

Найбільш прийнятним для більшості випадків вважаю крапково-бісеріальний коефіцієнт кореляції

Формула:

де М_н – середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

М_l – середнє значення по тесту для випробовуваних, які дали неправильну (неключову) відповідь на даний пункт тесту;

σ- стандартне відхилення для тесту;

Р – частка випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

Q - частка випробовуваних, які дали неправильну (неключову) відповідь на даний пункт тесту.

Обчислюємо так:

1. Обчислити середнє арифметичне (M) і стандартне відхилення (σ) для всіх випробовуваних по тесту;

2. Для кожного завдання обчислити середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт (М_н) і окремо - кількості випробовуваних, що зробили це (N_н);

3. Для кожного завдання розділити N_н на N – на загальну кількість випробовуваних. Отримаємо Р;

4. Для кожного завдання розрахувати 1-Р. Отримаємо Q;

5. Маючи середнє значення загального показника, для кожного завдання можна одержати М_L :

,

де N – загальна кількість випробуваних;

M – середнє значення по тесту для всіх випробовуваних;

М_н – середнє значення по тесту для випробовуваних, які дали правильну (ключову) відповідь на даний пункт тесту;

N_н - кількість випробовуваних, що дали правильну (ключову) відповідь на даний пункт тесту;

N_L- кількість випробовуваних, що дали неправильну (неключову) відповідь на даний пункт тесту;

6. Для кожного завдання перемножити РQ і визначити квадратній коріння.

7. Розрахувати всі значення по формулі.

Відбір завдань тесту.

Представлений метод аналізу завдань тесту дав нам 2 суттєвих статистичних показника: «Р» і «r_ps»

Результати цього аналізу найзручніше представити в таблиці 6.

Для випробовуваних різного віку, статі, соціального положення, якщо це істотно для тесту, процедуру аналізу завдань потрібно проводити окремо. Тому кількість стовпчиків таблиці мають відповідати кількості складених вибірок випробуваних. Кількість рядків таблиці відповідатимуть числу пунктів вашого тесту.

Таблиця 6

Результати аналізу завдань тесту «Назва»

Завдання	N= «кількість випробуваних», «стать», «вік»		Наприклад: N=100, М, 19-21 рік		N=100, Ж, 19-21 рік		І далі
	Р	rpb	Р	rpb	Р	rpb	Р	rpb
1. Формулюємо завдання
2.
…
…
n.

Засновуючись на даних таблиці відбираються завдання тесту. При цьому необхідно враховувати не 2, а 4 критерії:

1. Величина тесту - має залишитися запланована кількість завдань;

2. Зміст тесту - не повинна порушитися змістовна валідність;

3. Кореляція завдань із загальним показником - чим вище, тим краще, але не нижче r_pb=0,2;

4. Рівень трудності завдань «Р» повинен відповідати інтервалу 0,8-0,2 бали.

Відповідно процедура відбору завдань тесту складається з таких етапів:

1. Відбір тих завдань, які задовольняють критеріям r_pb і Р - вони залишаться незмінними);

2. Аналіз змісту тих завдань, які не відповідають одному з цих критеріїв. Може на результати вплинув випадковий зовнішній чинник. Тоді ці пункти виключати з тесту не варто.

3. Виключити з тесту пункти, що не відповідають двом критеріям;

4. Перевірити, чи не позбувся при цьому зміст тесту якої-небудь важливої вимірюваної ознаки. Якщо позбулося, доведеться переформулювати викинуті пункти, або замінити іншими, новими.

5. Підрахувати кількість завдань, що залишилися (має залишитися запланована кількість);

6. Обчислити коефіцієнт надійності. Якщо надійність знизилася, доведеться повернути в тест завдання з найкращими статистичними показниками з тих, що залишилися (кожного разу перераховуючи коефіцієнт надійності). Якщо це не допомагає, сформулювати нові завдання.

7. Після того, як задовільна надійність досягнута, потрібно вивчити розподіл (асиметрія, ексцес).

8. Розрахувати дискримінативність (δ Фергюсона);

9. Провести дослідження на новій вибірці, розрахувати всі необхідні критерії на ній, переконатися що тест надійний, валідний та дискримінативний.