71. Вимоги до побудови і перевірки методик.

Як відомо, психологічний тест може бути охарактеризований як ефективний в тому випадку, якщо він задовольняє наступним основним умовам:

1) використання шкали інтервалів; 2) надійність; 3) валідність; 4) дискримінативність; 5) наявність нормативних даних.

Зрозуміло, конструювання тестів, що відносяться до різних діагностичних підходів, має, не дивлячись на необхідність дотримання загальних вимог до цього процесу, певну специфіку. У цій главі ми звернемося до розгляду основних проблем конструювання особових опитувальників, які відносяться до найбільш споживаних інструментів психологічної діагностики.

Зазвичай виділяються три головні стратегії в конструюванні особових опитувальників: дедуктивна, індуктивна і екстернальная (Burisch, 1984). Дедуктивна або змістовна стратегія базується на теоретичних уявленнях про особу, її структуру і функціонування. Розробник тесту конструює завдання, за допомогою яких, як передбачається, оцінюватиметься визначений психологічний конструкт. Друга стратегія — індуктивна, передбачає використання факторного аналізу або інших статистичних процедур, заснованих на кореляційних зв'язках. Головна особливість індуктивної стратегії полягає в тому, що дослідник як би дозволяє даним говорити самим за себе. Екстернальная стратегія емпірична за своєю суттю і грунтується на порівнянні контрастних груп. Жодна з названих стратегій не може бути розглянута як переважна. Цілком природно, що багато розробників особових опитувальників комбінують ці стратегії, прагнучи, наприклад, поєднувати можливості оцінки лічностищо досягаються дедуктивною стратегією, з широким використанням всіляких процедур аналізу завдань (індуктивна стратегія).

Вимоги:

• Однозначне формулювання цілі, предмету застосування, теоретичний рівень, чітке виділення області застосування

• Процедура має бути однозначним алгоритмом

• Процедура обробки має включати статистично обґрунтовані методи

• Тестові шкали мають бути перевірені на репрезентативність, надійність, валідність. Інші дослідники мають також повторити цей тест.

• Інструкції мають пройти тест на однозначність

• Пілотажне дослідження

72. Валідність та надійність тестів; техніка перевірки

Бурлачук Л.Ф. Психодіагностика+ лекції

Психометрія – розділ психології, що вивчає теоретичні та методологічні проблеми психологічного вимірювання, займається розробкою математичних моделей психологічних вимірів.

Основні поняття:

1. Надійність – один із критеріїв якості тесту, що відноситься до точності психологічних вимірів. Чим більша надійність тим менше похибок тесту.Надійність це також стійкість, стабільність результатів при повторному тестуванні.Надійність також може бути як прояв ступені еквівалентності двох однакових по формі і напрямку тестів. Надійність як внутрішня сталість тесту, чи гармонійні між собою частини тесту. Надійність визначається методом дисперсійного та факторного аналізу. Надійність якість психодіагностичних методик, яке пов’язане з можливістю стримувати з її допомогою досить стабільні результати. Вони залежить від вимірювального інструменту, а не від досліджуваного, поведінки експериментатора чи психологічних особливостей, що вимірюються. Надійність тесту показує незалежність його результатів від дії різноманітних випадкових факторів. Різноманітні зовнішні і внутрішні фактори можуть викликати відхилення результатів тесту.

2. Валідність (фр. valide — законний, дійсний) - це така психометрична властивість, що дозволяє виносити задовільне чи незадовільне судження стосовно отриманих результатів. Оскільки на валідність також впливають випадкові фактори, то в психометриці прийнято основну нерівність: валідність < надійність.

Є декілька видів валідності:

1. Валідність за змістом – ця валідність використовується для перевірки тестів досягнень і критеріально-орієнтованих тестів. Для цього співставляються результати виконання тесту та оцінки експертів;

2. Валідність за однозначністю визначається за допомогою співставлення результатів з зовнішнім критерієм за яким інформація збирається одночасно з тестуванням. Н-д: тести проф.. досягнень і реальні професійні досягнення.

3. Прогностична валідність – визначається за порівнянням результатів тестування із зовнішнім критерієм, але інформація за зовнішнім критерієм збирається через деякий час після тестування. Н – д: в якості зовнішнього критерію може бути здатність людини до певного виду діяльності.

4. Ретроспективна валідність – визначається на основі критерію, що відображає стан

Міра валідності визначається кореляційним коефіцієнтом з яким не будь критерієм.

Слід мати на увазі, що назва тесту не може служити вказівкою на те, що він замірює. Назви тестів дуже широкі щоб встановити на яку сферу поведінки орієнтований даний тест, встановити яку психічну властивість вимірює даний тест.

Мета процедури у визначенні валідності тесту: вияснити як виконання тесту відноситься з іншими незалежними факторами характеристик, які досліджуються.

Існує багато методів виявлення співвідношення валідності тестів. В стандартних навчальних і психологічних тестах методи розподіляються по трьом критеріям:

1. Валідність по змісту; Визначається через через підтвердження того, що завдання тесту відображає всі аспекти області поведінки яка досліджується. Зазвичай вона визначається у тестах досягнень, які по суті психологічними тестами не являються. На практиці для визначення валідності за змістом підбираються експерти, які вказують яка галузь (галузі) поведінки найбільш важлива, наприклад, для музичних здібностей, а потім, виходячи з цього, генеруються завдання тесту, які знову оцінюють експерти.

2) Валідність за критеріями (критеріальна). Оцінюється величиною зв’язку показника тесту з так званим зовнішнім критерієм. Зовнішнім критерієм є, незалежний від тесту, параметр відповідної навчальної чи професійної діяльності. 1) об’єктивні соціально-демографічні дані (стать, освіта, професія, прийом або звільнення з роботи); 2) виробничі показники ефективності виконання окремих видів професійної діяльності, які мають найбільше значення при валізації методик, і які використовуються у професійному відборі; 3) результати реальної діяльності (малювання, музика) використовуються при випробовуванні тестів спеціальних здібностей; 4) лікарський діагноз; 5) контрольні випробування знань і умінь і даних інших методик і тестів, валідність яких вважається встановленою.

3. Конструктна валідність. Демонструється повним, наскільки це можливо, описом змінної, для вимірювання якої призначається тест. По суті, конструктна валідність включає в себе всі підходи до визначення валідності, які існують взагалі. Кронабах і Мил (1955), які ввели в психодіагностику поняття конструктної валідності, намагались вирішити проблему відбору критеріїв при валідизації тесту. «У багатьох випадках ні один окремо взятий критерій не можу служити для валідизації окремого тесту». З конструктною валідністю пов’язана проблема об’єктивності в інтерпретації результатів по вивченню конструктної валідності, проте ця проблема загально психологічна і виходить за рамки валідності.

Існує 2 основних підходи:

1. Конкурентна валідність. Оцінка за тестами і оцінка професійної успішності отримується з незначним інтервалом часу. Досліджується існуюча в даний період часу валідність тестів на людях, які вже працюють за спеціальністю. Конкурентна валідність оцінює по кореляції розробленого тесту з іншими, валідність яких відносно досліджуваного параметру влановлена.

2. Прогностична валідність. Тестові оцінки і оцінки успішності отримуються зі значним інтервалом часу. Наприклад: допрофесійне навчання, пічляпрофесійна діяльність. Показує в якій мірі показники тестів можуть бути використані для прогнозу показників успішності в майбутній професії. Ця валідність обмежена тим часом, який розділяє обстеження до навчання і після. Інтервал цього часу називають глибиною прогнозу (не перевищує кількох років; іноді пов’язана з х-ром прогностичних тестів). Загальноприйнято те, що прогностична валідність точніша ніж конкурентна. Адже конкурентна встановлюється на особах які працюють за спеціальністю і які пройшли відповідни природній відбір. Прогностина валідність адекватно відображає прогностичність методик, які вибрані до професійного відбору.

Існують і інші способи доказу валідності тесту.

Очевидна валідність. Описує уявлення про тест, яке склалося у досліджуваних. Тест повинен сприйматися досліджуваними як серйозний інструмент пізнання його особистості, чимось схожий з таким, що викликає повагу і в якійсь мірі нагадує медичний діагностичний інструментарій. Уявлення про тести в суспільній свідомості формується багатьма публікаціями в популярних газетах і журналах того, що можна назвати квазітестами, з допомогою яких читачу пропонується визначити все, що завгодно: від інтелекту до суміжності з майбутнім партнером.

Інкрементна (increment – збільшення, приріст, прибуток) – вона має обмежене значення. Це коли один тест з групи тестів має низьку кореляцію з критерієм, але не перекривається іншими тестами з цієї групи (тобто перевищує їх).

Теоретична. Визначається по відповідності показників якості, яку досліджують, отрманих за допомогою даних методик таких чиї показники мусять мати теоретичну обумовлену залежність. ТВ перевіряють за допомогою кореляційних показників однієї і тої ж якості, отриманих з різних методик, які виходять або спираються на одну і ту ж теорію.

Практична (емпірична). Перевіряється співвідношенням діагностичних показників до реальної поведінки. По критеріях ПВ методику перевіряють шляхом порівняння її показників з реальною життєвою поведінкою чи результатами практичної діяльності людини.

Внутрішня. Означає відповідність завдань, що містяться в методиці до загальної цілі із-за думки методики в цілому. Вона рахується внутрішньо-невалідною тоді, коли всі чи частина включених в неї запитань вимірюють не те, що вимагається від даної методики.

Зовнішня. Схожа на емпіричну. Різниці в тому, що в даному випадку мова йде про зв'язок між показниками методики і найважливішими ключовими зовнішніми признаками, які відносяться до поведінки досліджуваного.