12. 12. Анализ и отсеивание заданий

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с ключом) и дискриминантности каждого задания. Первый шаг состоит в том, чтобы составить таблицу анализа заданий, в которой каждая колонка представляет задание, а каждая строка — обследуемого. Когда речь идет о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а при этом имеется в виду, что обратные задания (с противоположным содержанием) оцениваются так же, как и прямые задания, но в противоположном направлении континуума оценок. Затем суммируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Следующим шагом будет вычисление показателя, определяющего долю испытуемых, ответивших в соответствии с «ключом» опросника или индекса эффективности задания. Этот показатель подсчитывается делением количества обследуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Индекс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов. .

Также нужно удостовериться, просмотрев результаты в таблице анализа зада-ний, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценоч-ном континууме каждым испытуемым, а представляет собой вариацию различных оценок.

13. Дискриминативность

Дискриминативность – способность отдельных пунктов теста дифференцировать обследуемых относительно «максимального» или «минимального» результата теста.

Любой ответ испытуемого на конкретное задание можно представить в двухбалльной шкале – «верно», «неверно». Сумма баллов по всем пунктам представляет собой первичную оценку. Мера соответствия успешности выполнения одной задачи всему тесту является показателем дискриминативности для данной выборки испытуемых, которая вычисляется в виде точечно-бисерального коэффициента корреляции и называется коэффициентом дискриминации.

Задания (вопросы, утверждения) только тогда следует включать в окончательную версию опросника, когда они измеряют те же самые личностные особенности, что и другие, предназначенные для этого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как правило, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле- вой корреляцией почти всегда исключаются.

14. Стандартизация (нормы теста и стандартизация процедуры тестирования)

Одним из важных отличий психометрических тестов является то, что они стандартизированы, а это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах.

Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Таким образом, стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых. При этом вводится понятие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объём и репрезентативность. Устанавливать нормы не всегда обязательно. При использовании психологических тестов в научном исследовании нормы не столь важны и достаточно «сырых» показателей теста.

15. Надежность

Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого обследуемого при повторном тестировании.

В психометрике термин надежность имеет два значения. На одном из них — надежности по внутренней согласованности — мы не будем останавливаться подробно, отсылая читателя к соответствующим справочникам и руководствам, отметив только, что требование к внутренней согласованности теста не случайно. Вполне естественно считать, что если некоторая переменная измеряется частью теста, то другие его части, не будучи согласованными с первой, измеряют нечто другое. Для того чтобы быть валидным, тест должен быть согласованным. Существует несколько способов определения надежности.

Надежность ретестовая — предполагает повторное предъявление того же самого теста тем же испытуемым и примерно в тех же условиях, что первоначальное, а затем установление корреляции между двумя рядами данных. При использовании этого способа определения надежности нужно отдавать себе отчет в том, что испытуемые могут запомнить свои ответы и воспроизвести их во второй раз, поэтому повторное тестирование должно быть отделено от первого более-менее значительным временным интервалом, обычно не менее месяца. Некоторые психологи настаивают на интервале между тестированиями не менее 6 месяцев (Клайн, 1994).

Мы не считаем требование П. Клайна об обязательном 6 месячном интервале между тестированиями безусловным. В подтверждение сошлемся на результаты исследования канадских психологов. С помощью личностного опросника были обследованы 302 студента с интервалом в 3 недели. Условия повторного тестирования варьировались. Стандартный коэффициент ретестовой надежности, равный 0,872, не отличался от коэффициентов надежности, полученных в трех группах испытуемых, получавших одну из трех специфических инструкций: 1) продумывать ответы; 2) использовать воспоминания о прошлых ответах; 3) выполнять параллельную форму теста. Было обнаружено, что стандартный коэффициент надежности выше коэффициента, полученного при инструкции воспроизводить прошлые ответы.

Наименьшим удовлетворительным значением для ретестовой надежности является коэффициент корреляции, равный 0,7. Правда, для некоторых тестов этот показатель может быть несколько ниже.

Надежность параллельных форм предусматривает создание эквивалентных форм опросника и предъявление их одним и тем же испытуемым для того, чтобы затем оценить корреляцию между полученными результатами. Основная пробле-ма, препятствующая широкому распространению этого способа определения на- дежности, — необходимость подготовки двух наборов заданий, что чрезвычайно сложно, поскольку требуются убедительные доказательства их эквивалентности.

Надежность частей теста определяется путем деления опросника на две час-ти (обычно на четные и нечетные задания), после чего и рассчитывается корреля- ция между этими частями. Обычно к этому способу определения надежности ре-комендуется прибегать только в тех случаях, когда необходимо быстро получить результаты.

16. Валидность

Валидность – это комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

В наиболее простой и общей формулировке валидность теста это «…понятие, указывающие нам, что тест измеряет и насколько хорошо он это делает».

В психологической диагностике валидность – обязательная и наиболее важная часть информации о методике, включающая данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников, суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами.

Очевиднаявалидность — описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то мере трепет медицинским диагностическим инструментарием.Очевиднаявалидность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикациями в популярных газетах и журналах того, что можно назвать квазитестами, с помощью которых читателю предлагается определить все, что угодно: от интеллекта до совместимости с будущим супругом.

Содержательнаявалидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений (смысл измеряемого параметра полностью ясен!), которые, как уже указывалось, тестами собственно психологическими не являются. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты.

Конструктнаявалидность теста демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, конструктнаявалидность включает в себя все подходы к определению валидности, которые были перечислены выше. Кронбах и Мил, которые ввели в психодиагностику понятие конструктнойвалидности, пытались решить проблему отбора критериев при валидизации теста. Они подчер- кивали, что во многих случаях ни один отдельно взятый критерий не может слу- жить для валидизации отдельного теста. Можно считать, что решение вопроса о конструктнойвалидности теста представляет собой поиск ответа на два вопроса:

1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству. Вполне понятно, что с конструкт- ной валидностью связана проблема объективности в интерпретации результатов по изучению конструктнойвалидности, однако эта проблема общепсихологическая и выходит за рамки валидности.

Критериальнаявалидность – комплекс характеристик, включающий валидность текущую и прогностическую методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемой способности. В качестве валидизации критерия выступают независимые от результатов теста и непосредственные меры измеряемого качества, такие, как уровень достижений в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т.д.

17. Адаптация тестов

Перевод зарубежного теста, каким бы профессиональным он ни был, — только начало достаточно длительного и трудоемкого процесса адаптации методики.

Наименее сложны в адаптации проективные методики, стимулы которых не подлежат каким-либо изменениям. Это же можно сказать и о других невербальных тестах. С наибольшими сложностями сталкиваемся при адаптации личностных опросников. Процесс их адаптации нередко ограничивают следующими этапами:

1) подготовка предварительного варианта перевода с оригинала на второй язык;

2) экспертная содержательная оценка предварительного перевода с привлечением лингвистов и профессиональных психологов, владеющих языком оригинала;

3) проверка эквивалентности экспериментального перевода шкалы и оригинала;

4) установление новой шкалы и сбор соответствующих норм на отечественной выборке.

Большое внимание при адаптации уделяется переводу с языка оригинала на язык пользователя. Лингвистический аспект адаптации личностных опросников означает приспособление лексики и грамматики к возрастной и образовательной структуре населения, для которого эта методика предназначена, учет коннотативного значения языковых единиц и категорий.

Перевод любого опросника — это не только сложная лингвистическая задача. В личностных опросниках всегда отражены особенности культуры того общества, в котором они создавались. Нормам и ценностям одного общества трудно, а порой и невозможно найти эквиваленты в другой культуре.

Преодолев лингвистические и социокультурные препятствия, в итоге получаем новый опросник. Поэтому этапу сбора соответствующих норм на отечественной выборке должна предшествовать психометрическая адаптацияопросника, включающая следующие процедуры: 1) анализ внутренней согласованности вопросов (утверждений), из которых составлена шкала, что обязательно по отношению к факторным шкалам; 2) проверка устойчивости к перетестированию; 3) анализ корреляций с релевантным критерием. Следует также отметить и специфичный для многошкальных опросников этап — проверка воспроизводимости структуры взаимоотношений между шкалами. Только после выполнения этих требований можно переходить к рестандартизации норм.