2.2.4. Тестування.

Психологічні тести як метод дослідження з'явилися в

результаті злиття психології з позитивістським світоглядом.

Якщо перша могла запропонувати деякі підходи до оцінки

психологічних розходжень між людьми, то на рівні другого

джерела були розроблені процедури стандартизації, що збільшують

надійність і вірогідність тесту як вимірювального методу. Протягом

нинішнього сторіччя створення і використання тестів

залишалося улюбленим заняттям не тільки психологів, але і

педагогів, дефектологів, медиків. У результаті у світі створено

кілька тисяч тестів, що вимірюють самі різні характеристики

людини: психофізіологічні, характерологические,

інтелектуальні, емоційні, особистісні. Незважаючи на деяке

запізнювання нашої країни в області тестування в 80-х роках було

видано значне число книг, що дозволяють досить повно

ознайомитися з його теоретичними і практичними питаннями

(12,13,). Тестуванням може бути названа процедура

виміру

будь-якої характеристики людини, якщо попередньо вона пройшла

через технологію визначення валидности і надійності.

ВАЛИДНОСТЬ ТЕСТУ

Валидность (від англ. valіd - дійсний, придатний, що

має силу) - це критерій якості тесту, "

тест, щодемонструє ЩО, вимірює і наскільки добре він це робить" [12, т.1, с.126]. Існує кілька видів валидности: по змісту, за

критерієм, що текет і прогностична, внутрішня і синтетична,

конструктная. Для усіх їх є вивірені методики визначення.

Розробка валидного тесту давно перетворилася в спеціальну

технологію, про яку можна написати окремий навчальний посібник.

Наша мета в цьому параграфі складається лише в тім, щоб викликати в

читача повага до тесту і тестування і тим самим зменшити

імовірність легковагого використання чи тестів оголошення тестом опросника, не минулу повноцінну процедуру визначення його валидности і надійності.

Тести бувають різні. Деякі з них носять вербальний

(мовний) характер. Це так називані тесты-опросники. Інші

вимагають виконати ту чи іншу дію: від рішення задачки до

закручування рукою реального гвинта. Ці тести зазываются

тістами-завданнями. Тільки перший з цих тестів родственнен

описаним вище анкетам і опросникам. Але як уже відзначалося, тест

більш формалізований по процедурах розробки, виконання й

інтерпретації результатів. Як правило на частку эргономиста

випадає тільки проведення процедури тестування по вже готовій і

добре зарекомендовали себе себе методиці й інтерпретація

результатів тестування по готовим "ключах". Створення тестів -

це турбота фахівців у цій області.

Основною змістовною відмінністю теста-опросника від звичайної

анкети є попередня перевірка того, як чи з яким

успіхом на ці питання відповідають інші люди і не просто як

індивідуальності, а як представники репрезентативної вибірки,

виділеної по тій чи іншій підставі (наприклад: "студенти І-го

курсу технічного вузу", чи "хворі від 50 до 55 років, перенесшие

інфаркт 2-3 роки тому", чи "непрофесійні користувачі, що

володіють тільки редактором ЛЕКСИКОН", і т.п.). Якщо отриманий

розподіл тестових результатів по вибірці, кожен новий

вимір дозволяє віднести людини, що показали цей результат до

тієї чи іншої частини вибірки. Наприклад, до групи успішно

справляються з чи тестом справляються з працею. Результати по

новому тесті часто порівнюють з результатами по інших тестах,

спрямованим на вимір аналогічної властивості, але имеющим більш

міцну репутацію. У випадку високої кореляційної подібності

одержуваних результатів новий тест вважається минулим один з

численних іспитів на шляху до тиражування і

професійного використання.

НАДІЙНІСТЬ ТЕСТУ

"Під надійністю розуміється погодженість результатів

тесту, отриманих при повторному його застосуванні до тих же випробуваним

у різні моменти часу, з використанням різних наборів

еквівалентних чи завдань при зміні інших умов обстеження" (12, т.1, с.97). Перевірити тест на

надійність означає провести повторні виміри на великій групі

випробуваних і виявити, наскільки змінюються їхні результати в

залежності від рівня стомлення, значимості самого тесту й інших

перемінних. Якщо результати змінюються від проби до проби по-різному

в різних випробуваних, то це означає, що тест ненадійний, і

необхідні теоретичні й експериментальні пошуки причин цього

явища і видозміна тесту, поки його надійність не буде

досягнута.

У той же час існує вид тестів, основне призначення

яких складається в діагностиці змін, що відбуваються в людині.

Найбільший інтерес для ергономіки, наприклад, представляють тести, що

діагностують зміни у функціональному стані людини протягом

робочого дня. Цьому аспекту буде приділена увага в

наступній главі.

Тестування повинне вийти практику ергономіки як

вивірений, відкалібрований діагностичний засіб. Його важливість

можна показати на такому прикладі. Відомо, що професія

програміста пред'являє до людини визначені вимоги. Так,

із програмуванням краще справляються посидющі і педантичні.

Крім того, в інтелектуальній області ці професіонали повинні

краще виконувати деякі уявні операції, характерні для

складання програм. Для добору в число обучающихся

програмістській роботі можна було б відбирати за допомогоювідповідної батареї тестів, як це наприклад робиться у фірмі

Sіemens-Nіxdorf (Німеччина).

Можливі й інші області використання тестування в

ергономіці комп'ютерних систем - наприклад, комп'ютерна

психодиагностика. Про це докладніше буде розказано в главі 6

дійсного посібника. Тестологические методи мають особливе значення і

для розробок адаптивного користувальницького інтерфейсу (див. Глава

4).

2.3 Експериментальні методи: факторна і регресійна

моделі.

Експеримент відрізняється від емпіричного дослідження тим,

що в ньому дослідник намагається не просто зареєструвати

реальності (факти і параметри) процесу, що відбувається, а здійснює спроби керування умовами, що оточують подію.

Якщо ж йому вдається зареєструвати різницю в подіях, що

відбулися в різних умовах, то дослідник зможе зробити

висновки як про саму подію, так і про зв'язок події й умови. Те,

що в звичайному житті називають умовами, в експериментальних

галузях науки звичайно називають факторами. Відповідно,

експерименти бувають однофакторні і багатофакторні - у залежності

від того, скількома факторами намагається маніпулювати

дослідник.

Особливістю однофакторних експериментів, що вживалися в

дослідницьких цілях у природознавстві, було прагнення

ізолювати досліджуваний зв'язок між явищами і створити умови, у

яких можна було б зневажити впливом всіх інших,

нерозглянутих умов, створити, так сказати, "чисті"

експериментальні умови. Передбачалося, що дослідник у

стані усунути вплив несуттєвих по його представленнях

характеристик досліджуваного об'єкта і, варіюючи досліджувану

характеристику, пізнати її істоту. Зручний в області досить

простих явищ однофакторний експеримент істотно послабляє

свої позиції при дослідженні системно організованих об'єктів, у

яких є присутнім чітко виражену взаємодію відразу

декількох істотних характеристик. Уперше з так називаними

"дифузійними" системами зштовхнулися в дослідженнях з емісійного

спектрального аналізу (17). При розряді між двома електродами

виникала хмара, у якому активно відбувалися процеси дифузії,

випромінювання і т.п., що відрізнялися значною нестійкістю.

Відбувалася тісна взаємодія між різними інгредієнтами,

що практично неможливо було виділити "у чистому виді" для

ізольованого вивчення. Виходячи з цього, на початку століття деякими

фізиками висловлювалася думка про неможливість вивчення такого роду

об'єктів. Спираючи на традиційні методи, вважає В.В.Налимов,

"не удалося побудувати кількісної теорії, що описує поводження

цієї системи і пророкує її поводження ... хоча зовсім

ясно, що в ній протікають тільки такі процеси, що, будучи

узятими окремо , добре відомі фізикам і хімікам. Система

була занадто дифузійною: тут виявлялося неможливим розмежувати

різні по своїй природі явища" (17, с.9).

Апарат для дозволу цих методичних утруднень прийшов

у фізику зі статистики разом з ідеєю про можливість вивчення

ВЗАЄМОДІЙ між двома незалежними перемінними. Англійському

статистику-генетику Рональду Фишеру належали ідеї керування

експериментом шляхом рандомизации і дослідження ефектів

декількох факторів і їхніх взаємодій одночасно, а не

послідовно, як це постулировалось досвідом попередніх

досліджень. Щоб у загальному представити характер зв'язку між

загальними інтегральними характеристиками досліджуваного об'єкта і

незалежними перемінними, аналізованими в елементарному

двухфакторном експерименті, використовується наступна модель:

Xіjk = M + Aі + Bj + AіBj + (AB)іj + Lіjk,

де Xіjk - оцінка інтегральної характеристики досліджуваного

об'єкта;

M - постійний член отриманих в експерименті результатів;

AіBj - ефекти двох досліджуваних факторів;

(AB)іj - член, що характеризує взаємодія двох досліджуваних

факторів;

Lіjk - член, що компенсує розбіжність інтегральної

характеристики і суми всіх членів моделі.

Член (AB)іj, називаний взаємодією, враховується як

констатація того факту, що властивості, досліджувані в одному

експерименті, можуть мати різні взаємини, що виражаються в

різному спільному впливі на інтегральну характеристику

розглянутого об'єкта. Більш того, по

величинах ефектів, що виявляються експериментально, факторів і їхніх взаємодій можливе з'ясування структури досліджуваного об'єкта.

На думку А.П.Купріяна (18), багатофакторний експеримент

найбільш ефективний у тих областях досліджень, де об'єктом

є так називані "погано організовані системи", одним з

якостей яких є значна взаємодія між

елементами. У цьому випадку спроби виділення "у чистому виді" однієї

з істотних, відповідно до гіпотези, зв'язків і виключення з

розгляду інших зв'язків приведе до результатів, страждаючою

неповнотою і нарушающим цілісність прояву об'єкта

дослідження. Як відомо, саме таке представлення затвердилося

у відношенні психологічних явищ і було відзначено ще в

принципах "молярного" підходу в психології, а також у положеннях про

одиниці аналізу психічного, запропонованих Л.С.Виготськ (19).

Представлення про деякі обмеження в аналізі досліджуваних

об'єктів розробляється в системних дослідженнях за назвою

проблем цілісності. "Саме те, що в будь-якім науковому дослідженні

завжди споконвічно задане деяке представлення про цілісність,

деякій елементарній структурі, дозволяє осмислено вживати

значну частину понятійного апарата. Ми маємо на увазі такі,

наприклад, поняття, як розвиток, поводження, функціонування,

структура, організованість і багато хто інші. Кожне з них

здобуває конкретний зміст лише в контексті деякого

попередньо заданого цілого",- відзначають И.В.Блауберг і

Б.Г.Юдин (20, с.20).

Визнання такого об'єкта веде до виділення макро- і

мікропідходів до нього, яким відповідають інтегральні і

диференціальні характеристики об'єкта, досліджувані в експерименті.

Якщо як одиницю діяльності людини встановлюється

дія, то в якості його інтегральних характеристик на

макрорівні підходу будуть, наприклад, використовувані при

хронометричному дослідженні показники: загальний час виконання,

загальна точність, міри варіативності (дисперсія, стандартне

відхилення) і т.п. Мікрорівень підходу припускає вивчення

таких більш дрібних одиниць усередині дії, як співвідношення його

компонентів: когнітивного, виконавчого

контрольно-коррекционного (21).

Іншим аспектом мікропідходу до дії є виділення

його операційного складу і вивчення його розвитку. Методологія

системно-структурного дослідження вимагає використання відразу

декількох рівнів підходів в аналізі цікавлячого дослідника

явища і установлення відповідностей в інтегральних і

диференціальних показниках. Ця задача і може бути реалізована

за допомогою багатофакторного експерименту, результати якого легко

представити у виді моделі, що встановлює характер

взаємин між зазначеними показниками і їх динаміком.

Одна з такого виду моделей ґрунтується на рівнянні

регресії. Регресійний аналіз експериментальних даних

використовується в тому випадку, коли оцінюється величина однієї чи

декількох перемінних, у той час як величина інший перемінний

(чи декількох інших перемінних) відома. Звичайно використовуються

два види регрессий: проста і багатофакторна (множинна).

Багатофакторна регресія застосовується для оцінки перемінної на

основі знання двох і більш інших перемінних. У эргономическом

експерименті такими відомими перемінними можуть бути виділені в

попереднім дослідженні істотні умови, що роблять

вплив на здійснення дії. Наприклад, характеристики

висвітлення, просторове розташування інформації на екрані

дисплея, характеристики часу її пред'явлення користувачу.

Варіювання однієї з цих умов у рамках однофакторного

експерименту - чи декількох у рамках багатофакторного, -

відбиваючи на величині і значимості результуючого рівняння

регресії, у стані дати визначений матеріал для з'ясування

структури користувальницької дії.

Багатофакторно спланований експеримент дозволяє, не

порушуючи цілісності дії, одержувати в кожній із проб його

інтегральні показники, що відповідають сполученню

умов, що фігурують у ньому. Проведене надалі порівняння цих показників

дозволяє одержати модель у виді рівняння регресії, що містить

диференціальні показники виконуваної дії: ефекти

впливу кожного з варьируемых умов окремо й ефекти

їхнього взаємного впливу на дію. Якщо позначити досліджувані

умови виконання дії (фактори) Х1, Х2, ..., Хk, а

інтегральні показники дії, наприклад, час виконання - Yі

(де і=1, 2, ...,k), те задачу моделювання можна визначити

через визначення залежності між ними:

Yі = Fі (X1, X2, ...,Xk).

З методичної сторони визначення цієї залежностімає

ряд особливостей (22).

1. Вивчення об'єкта припускає одночасне варіювання

багатьох факторів з метою оцінки їхнього впливу і впливи їхніх

взаємодій. Одночасне варіювання факторами по

спеціальній програмі забезпечує вивчення впливу кожного з них

у різних ситуаціях, створюваних зміною інших факторів. Це

дозволяє одержати більш надійні висновки, що враховують

вероятностный характер змін.

2. Експеримент проводиться в кілька етапів, що припускають

оцінку отриманих результатів і переорієнтацію подальшого

дослідження.

3. Результати експерименту представляються у виді

математичної моделі (рівняння регресії), що зв'язує цільовий

показник з варьируемыми факторами. Модель повинна відбивати повну

картину впливу факторів; з її допомогою можна здійснювати

спрямований пошук оптимальних режимів і висувати гіпотези про

зміст досліджуваного явища.

Аналітиками визначені етапи дослідницького процесу при

даному методичному підході:

1. Попереднє знайомство з об'єктом, його структурою й

особливостями; вибір вихідних параметрів (інтегральних

показників), істотних факторів і рівнів їхнього варіювання.

2. Проведення попередніх експериментів для виключення

несуттєвих факторів.

3. За результатами попередніх етапів формуються вимоги до

моделі, конкретизуються задачі дослідження і наступні етапи

роботи.

4. Проводиться аналіз одержуваної моделі; перевірка її

адекватності, вивчення найбільш цікавих властивостей, перебування

оптимальних відповідно до обраного критерію комбінацій

варьируемых факторів.

5. Інтерпретація моделі, використання її для висування

гіпотези про механізми досліджуваних чи явищ для оптимізації процесу.

У рівнянні регресії вихідна перемінна Yі (наприклад,

час виконання дії) погоджується з варьируемыми факторами

(X1, X2, ..., Xn) і їхніми взаємодіями (X1X2, ..., X1Xn, X2Xn) c

допомогою коефіцієнтів (K1, ..., Kn; K12, ..., K1n; K2n; ... ;

K12n). Коефіцієнти рівняння регресії в цьому випадку

інтерпретуються як чи приріст зменшення часу виконання дії під впливом відповідних факторів і їхніх взаємодій і обчислюються методом Йетса (див. ) на рівні

значимості (pє0.05). У загальному виді рівняння регресії виглядає

так:

Yі = K0 + K1X1 + ... + KnXn + K12X1X2 + ... + K1n1Xn +

+ K2n2Xn + ... + K12n1X2Xn.

Перший із представлених етапів дослідження припускає

позначення ряду обраних для експерименту умов у виді X1, X2,

..., Xn і виділення в них варьируемых рівнів (наприклад, яскравість: