Послідовність перевірки валідності

Універсальний алгоритм діяльності психолога з перевірки валідності створити важко, оскільки існують різні підходи до її забезпечення. Для прагматично зорієнтованих тестологів (англо-американська школа) основним завданням є пошук операціонально заданого соціально-прагматичного критерію валідності, за яким діагностичні тести і їх складові (пункти) підбирають ніби "автоматично" - у процесі емпірико-статистичних процедур збирання і кореляційного аналізу результатів.

Сучасні методологи психологічного тестування одностайно визнають оптимальною раціонально-емпірйчну стратегію конструювання тесту і перевірки валідності, яка передбачає:

- теоретичний аналіз діагностичного конструкту, розроблення теоретичної концепції.тестованої психічної властивості; виявлення системи взаємозалежних діагностичних конструктів, усередині якої новий діагностичний конструкт має певні структурно-функціональні зв'язки і відношення; прогнозування результатів кореляційних експериментів;

- виокремлення складових теоретичного конструкту; формулювання системи "емпіричних індикаторів" - операціонально однозначних показників, що фіксують прояв конструкту в різних поведінкових ситуаціях; конструювання пунктів тесту;

- визначення релевантного соціально-прагматичного критерію для перевірки валідності (ефективності) методики;

- планування і проведення кореляційного дослідження на спеціально підібраній вибірці досліджуваних, яким відоме (буде відоме) значення критеріального показника, а також результати подібних психологічних тестів. За необхідності здійснюють додаткове тестування з метою кореляційної перевірки конструктної валідності тесту (експертні оцінки при цьому розглядають як одну з можливих рівнобіжних процедур одержання критеріальної або психологічної інформації); оцінювання валідності емпіричних індикаторів;

- дослідження вірогідності результатів;

- відсіювання пунктів (індикаторів), що не задовольняють критеріїв валідності та вірогідності; вимірювання надійності для скороченої шкали, що складається тільки з валідних пунктів. Якщо надійність виявляється невисокою, то психолог повертається до першого етапу.

У психологічній діагностиці валідність є обов'язковою частиною інформації про методику (тест), що містить дані про ступінь узгодженості результатів тестування з іншими відомостями про досліджувану особистість, отриманими з різних джерел (теоретичні очікування, спостереження, експертні оцінки, результати інших достовірних методик), судження про обґрунтованість прогнозу розвитку досліджуваної якості, зв'язок досліджуваної поведінки чи особливості особистості з певними психологічними конструктами. Валідність також описує спрямованість методики і обґрунтованість висновків у конкретних умовах використання тесту.

Перевірка валідності застосовується на етапі розроблення й адаптації тесту, під час опрацювання отриманих з його допомогою даних.

5.4 Стандартизація тестових показників. Репрезентативність даних. Шкала брехні. Поняття статистичної норми. Стандартизація і норми тестових показників

Стандартизація (англ. standard - типовий, нормальний) тестових показників - уніфікація, регламентація, приведення до єдиних нормативів процедури і оцінок тесту.

Уніфікують бланки дослідження, способи реєстрації результатів, час і умови тестування. Інструкції можуть бути письмовими та усними (рідше).

Стандартизованим також є процес переведення первинних ("сирих") тестових балів, що відображають кількість виконаних завдань, в узагальнену шкалу, яка характеризує ступінь індивідуальної вираженості певної психічної властивості чи функції. Порівнювати результати психодіагностичних досліджень неможливо без певного критерію, оскільки методики не мають стандартів успішного чи неуспішного розв'язання тестових завдань. Наприклад, при виконанні тесту інтелекту досліджуваний успішно розв'язав певну кількість завдань. Однак це не дає підстав для визначення рівня його інтелекту - багато ним зроблено чи мало, добре чи погано; як часто певний показник спостерігається в інших людей; скільки завдань потрібно виконати для засвідчення високого рівня інтелекту тощо.

Однією із характеристик ефективності тестів є наявність нормативних даних - показників чітко визначених вибірок. Розроблення процедури отримання цих показників є стандартизацією даних.

У психодіагностиці важливі статистична і соціокультурна норми.

Статистична норма - середній діапазон значень на шкалі вимірюваної психологічної властивості людини.

її застосовують при оцінюванні стильових і мотиваційних якостей. Нормою вважають наближеність значення властивості до рівня статистично середнього індивіда. Значне відхилення від норми у (вихід за межі середнього діапазону) вважається акцентуацією, а якість особистості, стосовно якої спостерігається відхилення від норми, - акценту кованою. Чим більше виражене відхилення, тим більша акцентуація, аж до появи патохарактерологічних ознак.

Соціокультурна норма - офіційно чи неофіційно прийнятий у суспільстві рівень психологічної властивості людини.

Наприклад, у загальноосвітньому закладі учні можуть припуститися однієї помилки-описки на сторінці тексту, але вже 10 помилок є відхиленням від норми.

Психолог при побудові тестових норм повинен проаналізувати розподіл тестових балів, побудувати тестові норми і перевірити їх репрезентативність. Ця діяльність відбувається у такій послідовності:

1) формування вибірки стандартизації (випадкової чи стратифікованої з будь-якого параметра) з тієї популяції, на якій передбачається застосовувати тест.

3) побудова розподілу частот тестових балів (для заданих інтервалів рівнозначності), складання таблиць та відповідних графіків гістограми і кумуляти;

4) обчислення середнього і стандартного відхилень, а також асиметрії та ексцесу (за допомогою комп'ютера); перевірка гіпотези про значущість асиметрії й ексцесу; порівняння результатів перевірки з візуальним аналізом кривих розподілу;

5) перевірка нормальності одного з розподілів за допомогою критерію Колмогорова, який дає змогу визначити, чи підкоряються два емпіричні розподіли одному закону або чи підкоряється отриманий розподіл очікуваній моделі (при п < 200 за допомогою більш потужних критеріїв); процентильна нормалізація з перекладом у стандартну шкалу; лінійна стандартизація і порівняння її результатів (з точністю до цілих значень стандартних балів);

6) перевірка однорідності розподілу стосовно варіювання заданої популяційної ознаки (стать, професія тощо) за допомогою критерію Колмогорова; побудова у сполучених координатах графіків гістограми і кумуляти для повної і часткової вибірки. Зафіксувавши значущі відмінності, вибірку поділяють на різнорідні під вибірки;

7) побудова таблиці процентильних і нормалізованих тестових норм (для кожного інтервалу рівнозначності "сирого" бала). За наявності різнорідних підвибірок створюють окремі таблиці для кожної з них;

8) визначення критичних точок (верхня і нижня) для довірчих інтервалів (на рівні Р < 0,01) з урахуванням стандартної помилки у визначенні середнього значення;

9) аналіз конфігурації отриманих розподілів з урахуванням передбачуваного механізму розв'язання тесту;

10) отримання негативних результатів, відсутність стійких норм для шкали із заданим числом градацій (із заданою точністю прогнозу критеріальної діяльності) є підставою для обстеження ширшої вибірки чи відмови від використання тесту.

Норми, як правило, змінюються відповідно до природних змін у психічному розвитку людей. Так, норми інтелектуального розвитку, встановлені у першій чверті XX ст., не можуть бути використані у XXI ст., оскільки мислення людей значно змінилося. Як правило, норми тесту, особливо інтелектуального, переглядають раз на п'ять років.

Для перегляду норм спочатку визначають групу людей, з допомогою яких проводитимуть дослідження тесту, поділяють її на підгрупи, відмінні соціально-демографічними характеристиками. Для кожної підгрупи підбирають представницьку вибірку і за допомогою тесту вивчають. Далі шляхом усереднення отриманих показників визначають тестову норму. В описі тесту для кожної включеної у нього норми обов'язково повинно бути зазначено, де, як, на підставі яких досліджень і коли вона була встановлена.

Важлива вимога до тестів - їх об'єктивність. Це означає, що на стандартизованому іспиті, який встановлює кількісні та якісні індивідуально-психологічні відмінності, не повинна позначатись суб'єктивна діяльність. При вимірюванні однієї властивості результат має бути однаковим у всіх психодіагностів. Для зменшення суб'єктивних впливів при оцінюванні необхідно дотримуватися об'єктивності вимірювання, оброблення даних і інтерпретування результатів.

Об'єктивність вимірювання передбачає однакові умови тестування для усіх досліджуваних. Для цього уніфікують завдання, час їх оброблення, пояснення, допоміжні засоби тощо. Загалом можна домогтися лише однакових умов діагностування, оскільки індивіди по-різному реагують на тестування. Створити ідентичні умови для проведення вимірів неможливо, але слід прагнути до їх максимальної уніфікації.

Вимоги до об'єктивності вимірювання можуть різнитися. Наприклад, у збірниках диктантів часто уніфікують тільки тексти, а у тестах, що діагностують володіння орфографічними нормами, є точні вказівки про те, як вимовляється слово, коли та в якому класі організувати тестування, який час для цього необхідний, який спосіб тестування найоптимальніший.

Для забезпечення об'єктивності вимірювання потрібно проаналізувати завдання, інструкції для досліджуваних, рекомендації організаторам тестування. Спостерігаючи за поведінкою організаторів тестування, можна зробити висновки про недоліки в адресованих їм рекомендаціях.

Суб'єктивність позначається особливо помітно на об'єктивності оброблення даних, оскільки різні фахівці неоднаково мислять і оцінюють. Наприклад, вчителі ставлять різні бали за одну і ту саму класну роботу.

Об'єктивність оброблення даних можна забезпечити установленням критеріїв спостереження за поведінкою досліджуваних, а також унеможливленням розбіжностей при обробленні даних, яке можна здійснювати за допомогою комп'ютера.

Об'єктивності інтерпретації результатів виміру досягають за умови однакового розуміння результатів оброблення даних, тобто встановлення однакових взаємозв'язків. Для об'єктивної інтерпретації необхідно мати великий масив різноманітної інформації. Інтерпретатори даних повинні спочатку їх проаналізувати, обміркувати альтернативні інтерпретації, перевірити власні варіанти.

Без об'єктивності достовірний висновок неможливий, однак вона, уніфікуючи матеріал, його оброблення та оцінку, накладає певні обмеження. Наприклад, художники різних стильових напрямів, які пишуть картини на один сюжет, та різні особи, які є експертами, не зможуть дійти до однакового висновку. Вимірювання (перевірка) за таких умов - неадекватний засіб, оскільки за наявності різних, навіть принципово рівноцінних, можливостей розкрити тему неможливо через відсутність умов для діагностики. Ознаки залежно від ступеня їх вираженості неможливо впорядкувати, оскільки твір мистецтва сприймають лише індивідуально.

Об'єктивність не повинна бути самоціллю, вона є передумовою надійності і валідності вимірів. Необ'єктивний вимір не має параметрів надійності і валідності. За відсутності критерію об'єктивності унеможливлюється наявність критеріїв надійності і валідності.

Отже, стандартизація і нормування є важливими діагностичними процедурами. У психологічній діагностиці стандартизується процедура проведення, інструкція, бланки обстеження, способи реєстрації результатів, умови проведення обстеження, контингент досліджуваних, оброблення результатів. Стандартизація передбачає перстворення нормальної шкали оцінок на нову шкалу, побудовану не на кількісних емпіричних значеннях досліджуваного показника, а на його відносному місці в розподілі результатів у вибірці досліджуваних.

Процедуру нормування забезпечують переходом до іншого масштабу (одиниць) вимірювання. Стандартизація і нормування разом з іншими психометричними процедурами гарантують чистоту експерименту, його валідність та надійність.

Репрезентативність - властивість вибіркової сукупності відтворювати характеристики генеральної сукупності. Іншими словами, те, що вибірка є репрезентативною, означає, що з деякою похибкою можна розподіли ознак, що вивчаються, у вибірковій сукупності (а також середні, дисперсії, міри зв'язку тощо) ототожнити з їх дійсними розподілами у генеральній сукупності або, скориставшись мовою статистики, знайти оцінки параметрів генеральної сукупності. Об‘єкти репрезентації - це елементи вибіркової сукупності, що виступають як територіальні спільності та організації, в яких у свою чергу конкретизуються одиниці спостереження. Одиницями спостереження називають елементи сформованої вибіркової сукупності, які безпосередньо слугують джереломінформації соціальної.. Як об’єкти репрезентації, так і одиниці спостереження являють собою соціальні об'єкти, які мають характеристики, що є суттєвими для предмета конкретного дослідження об’єкти репрезентації і одиниці спостереження можуть збігатися і мати відмінності. Саме за цією ознакою розрізняютьвибірки багатоступеневі таодноступене).На кожному з етапів відбору вирізняються різні проміжні об’єкти репрезентативності, які здебільшого є "природними одиницями", тобто природними утвореннями, такими, як політично-адміністративні райони, населені пункти, підприємства, установи, цехи, академічні групи, бригади, відділи, лабораторії і т.д. Виділяють два типи об’єктів репрезентативності. До першого типу належать політично-адміністративні одиниці (республіка, край, область, район, різні види населених пунктів, сільради і так далі), до другого - виробничі підприємства (у тому числі колгоспи і державні сільськогосподарські підприємства), установи, навчальні заклади та ін. Залежно від типу об’єктів репрезентативності, що використовуються в процесі формування вибіркової сукупності, виділяють три типи вибірок: адміністративно-територіальна, виробнича і змішана. Алгоритми і методи зведення об’єктів репрезентативності або одиниць спостереження в типові групи, з яких потім відбираються найбільш типові представники, характерні для даної групи, складають спосіб районування виділених на проміжних етапах відбору об’єктах репрезентативності. Вирізняються кілька найбільш загальних видів описаних алгоритмів і методів типологізації. До першого виду належать усі методи, що ґрунтуються на застосуванні методу автоматичної класифікації об'єктів дослідження. Другий вид об'єднує всю сукупність методів, пов'язаних послідовно із застосуванням факторного і кластерного аналізу, завдяки яким у подальшому відбува­ється типологізація об'єктів дослідження. Третій вид описує різні методи якісного, змістовного аналізу ознак (що, зрозуміло, не виключає використання статистичних методів, які ґрунтуються на взаємозв'язку кількості шарів з оцінкою дисперсії базової ознаки або з обсягом витрат на проведення дослідження). Помилки репрезентативності - можливі межі відхилення вибіркової частки і вибірковості середнього від частки і середнього в генеральній сукупності. За своєю природою такі помилки можуть бути систематичними і випадковими. В соціологічній та статистичній літературі систематичні помилки часто називають також помилками зсуву. Такі помилки здебільшого мають одну й ту ж саму постійну величину або змінюються за певним законом, який має функціональний характер. Систематичними помилками називають помилки, які виникають внаслідок дії (в однакових умовах) певної причини або невеликої кількості причин, що викривляють отриману інформацію в певному напрямі, до того ж ці причини піддаються вивченню.Систематичні помилки репрезентативності найбільш небезпечні, тому що їхнім джерелом є неправильні принципи проведення процедури дослідження, засоби формування вибіркової сукупності, методи збору й обробки отриманої інформації. До основних причин появи систематичних помилок репрезентативності відносять: 1) навмисний чи ненавмисний відступ від принципів випадкового відбору при формуванні вибіркової сукупності; 2) заміна одиниць спостереження іншими одиницями, які не потрапили до вибіркової сукупності; 3) неповне охоплення опитуванням одиниць вибіркової сукупності; 4) практична неможливість абсолютно точно реалізувати попередній план вибірки внаслідок відмов респондентів від участі в опитуванні, природної смертності і переміщення населення, помилково написаних адрес, змін адрес та ін.Випадковими є такі помилки репрезентативності, які при повторних вимірюваннях приймають різні взаємонезалежні позитивні чи негативні значення. Про випадкові помилки може йти мова тільки тоді, коли, крім основних, у нас є ще й додатково проведені вимірювання. Випадкові помилки репрезентативності постають у формі випадкових величин або функцій, тобто меж, в яких