Критерии Конструирование психодиагностических тестов Требования к построению и проверке психодиагностических методик.
Усвоение этого дает возможность отличить психодиагностическую методику от всех остальных.
Критерии оценки качества психодиагностических методик:
по содержательным параметрам
из всех методик самую лучшую по качеству
Стандартизация, проверка на надежность и на валидность относится только к строгоформализованным методикам.
Стандартизация.
Методика предназначена для практических психологов и должна быть передана в руки других людей. Психодиагностическая методика должна быть разработана и описана так, чтобы любой психодиагност получил такие же данные, что и ее автор.
Стандартизация (по Анастази) - единообразие процедуры проведения и оценки выполнения методики.
Два плана стандартизации:
I. выработка единых требований к процедуре эксперимента
II. определение единого критерия для оценки результатов диагностической методики.
I. Стандартизация процедуры означает унификацию всего, что связано с экспериментом (бланки ответа, способ фиксации и анализа результатов, условия проведения обследования). Для всех испытуемых все должно быть одинаково (это касается и стимульного материала). Например: размер карточек у Люшера 28х28. И этот размер не меняется ни при каких обстоятельствах.
Основные требования:
инструкцию следует сообщать одинаковым образом, как сформулировано автором. Ее нужно зачитывать (не объяснять ее смысл). Или выучить ее наизусть, как у автора. Желательно, чтобы инструкция (где это возможно) в напечатанном виде была перед глазами испытуемого.
ни один испытуемый не должен иметь никаких преимуществ в процессе обследования. Нельзя растолковывать смысл и выполнять вместе с испытуемым. При возникших вопросах можно еще раз прочитать инструкцию. Ограничение по времени должно соблюдаться для всех. Помещение для испытания должно быть без помех для работы испытуемого (никто не должен входить, задавать вопросы). Испытуемые должны находиться в равных условиях. Важны также и температурный, и световой режимы, которые должны быть абсолютно одинаковыми. Существуют колебания работоспособности по времени суток (эксперимент должен проводиться в одно и тоже время суток) и по дням недели (понедельник, пятница - неблагоприятные дни). Любая методика должна содержать руководство ее применения (все, что касается процедуры эксперимента).
II. Выбор критерия.
Методики не имеют заранее заданных критериев успешности ее выполнения. Получив показатель, его нужно обязательно интерпретировать, оценить, описать словами по критерию, по которому можно сопоставить конкретный результат.
Существует несколько критериев в психодиагностике:
Статистическая норма - получена статистическим путем при обследовании достаточно большой группы испытуемых, которая называется выборка стандартизации. Из популяции создаются относительно небольшие группы, соответствующие этой популяции. Выборка должна быть репрезентативна популяции.
Раньше выборка создавалась на основе учета ряда параметров, существующих для измеряемых методикой психологических характеристик. Создавалась модель широкой популяции. Д.Векслер формировал выборки репрезентативной широкой популяции. Например, его тест рассчитан для людей от 16 до 65 лет. И он опирался на результаты переписи населения, учитывал географическое распространение населения, социоэкономический уровень, этнический состав, уровень образования, характер профессиональной деятельности. Его выборка в процентном содержании соответствовала процентному содержанию населения США.
Сейчас чаще используются репрезентативные выборки специфичные популяциям. Широкая популяция разбивается на ряд однородных подгрупп (население сельской местности или городское).
Причины предпочтения:
очень трудно создавать выборки репрезентации широкой популяции.
часто очень различными получаются показатели методик по отношению к широким популяциям.
Эти значимые различия делают бессмысленным объединение групп. Лучше сузить популяцию, чем утверждать, что подсчитанные нормы относятся ко всем представителям популяции. Для вычисления статистической нормы нужно обследовать всю выборку стандартизации и получить свой показатель для каждого участника группы. Эти показатели имеют некий разброс по группе. Дальше в системе координат заносятся данные и получают форму распределения, эта кривая имеет самую разную форму. Только в случае кривой нормального распределения психолог может рассчитывать статистическую норму.
Любое распределение имеет две основных характеристики:
I. центральная тенденция - общее расположение распределения по осям измерения. Три способа:
1. мода распределения - чаще всего встречается 2. медиана - срединное значение распределения 3. среднее арифметическое - (формула подсчета среднего арифметического )
|
|
II. дисперсия - разброс величин вокруг центрального значения. Она определяется как среднее арифметическое квадратов разностей между наблюдаемыми значениями и средней величиной
|
|
D тем выше, чем больше разброс значений. Из-за своего способа подсчета D всегда выражена в квадратных величинах.
Для подсчета статистической нормы используется стандартное отклонение
|
|
Удобство использования нормального распределения в том, что существуют специальные таблицы подсчета в процентах того или иного показателя. Можно предсказать процент тех людей, которые будут иметь определенные показатели (используется среднее арифметическое и стандартное отклонение). Первыми это сделали психологи Стэндфордского университета.
Взяли группу 100 человек детей от двух с половиной лет до восемнадцати лет, и каждый раз вычерчивали кривую. Выяснили, что нет нормального распределения по показателям их методики. Стали искусственно добиваться нормального распределения. Изменяли задания и, наконец, добились кривой нормального распределения для каждого возраста от двух с половиной до восемнадцати лет.
Нормальное распределение - условие для вычисления статистической нормы. Получив статистическую норму, можно дифференцировать испытуемых и легко интерпретировать результаты обследования.
Классификации тестов
В психодиагностике известны разнообразные классификации тестов. Они могут подразделяться по особенностям используемых тестовых заданий на тесты вербальные и тесты практические, по форме процедурыобследования —натестыгрупповыеииндивидуальные,понаправленности — на тесты способностей, тесты личности и тесты отдельных психических функций, а в зависимости от наличия или отсутствия временных ограничений — на тесты скорости и тесты результативности. Так же тесты могут различаться по принципам их конструирования. За последние десятилетия многие известные тесты были приспособлены к среде компьютера (предъявление, обработка данных и др.), их можно обозначить как тесты компьютеризированные. Активно разрабатываются тесты компьютерные, изначально конструируемые с учетом возможностей современной вычислительной техники. Предложенная нами классификация (см. выше) опирается на реализуемый в тестах диагностический подход.
|
|
Этапы создания теста Для тестов учебных достижений существуют общие правила и этапы разработки. В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов. 1. Определение целей тестирования. 2. Определение ресурсных возможностей разработчиков. 3. Отбор содержания учебного материала. 4. Конструирование технологической матрицы и ее экспертиза. 5. Составление тестовых заданий и их экспертиза. 6. Построение выборки для апробации заданий и тестов. 7. Компоновка заданий для апробации. 8. Апробация тестовых заданий. 9. Определение и расчет показателей качества тестовых заданий. 10. Отбраковка заданий и составление теста. 11. Апробация теста. 12. Определение и расчет показателей качества теста. 13. Составление окончательного варианта теста. 14. Стандартизация теста. 15. Нормирование теста. 16. Оснащение теста. |
репрезентативность теста
Репрезентативность — третье важнейшее психометрическое свойство теста. Понимание смысла этого требования к тесту помогает правильно учитывать ограничения в сфере применения теста. Например, если тест проходил стандартизацию на студентах, то перед его применением на школьниках следует вначале произвести РЕСТАНДАРТИЗАЦИЮ), то есть снова собрать тестовые нормы на представительной выборке, сформированной именно из школьников. В противном случае диагностические выводы будут производиться по неадекватным тестовым нормам и будут неточны и неверны. Проверка репрезентативности тестовых норм осуществляется с помощью анализа так называемого распределения частот тестовых баллов. Одним из простейших методов является проверка нормальности этого распределения. Более сложный и универсальный подход предполагает сравнение двух распределений, построенных для двух случайных половин выборки стандартизации. Если два этих распределения оказываются практически тождественны ми, то можно говорить о репрезентативности тестовых норм (более подробно об этом см. уже указанные специализированные издания по психометрике). Введение понятия репрезентативности позволяет нам дать более строгое определение того, что такое стандартизация теста. О СТАНДАРТИЗАЦИИ ТЕСТА в строгом смысле можно говорить, когда задана полная таблица соответствия сырой шкалы и стандартной шкалы и содержание этой таблицы обосновано статистической структурой распределения тестовых баллов на выборке стандартизации.
Выборка – это часть, или подмножество, совокупности. Проводить исследования для популяции не принято. Обычно из нее выделяется группа людей – выборка стандартизации, которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер выборка должна быть репрезентативна, представительна для рассматриваемой популяции, то есть ее вероятные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.
Для обеспечения репрезентативности выборки данных необходимо учесть ряд обязательных для любого исследования условий. Среди них важнейшими являются следующие:
• каждая единица генеральной совокупности должна иметь ровную вероятность попадания в выборку;
• выборка переменных производится независимо от изучаемого признака;
• отбор производится из однородных совокупностей;
• число единиц в выборке должно быть достаточно большим;
• выборка и генеральная совокупность должны быть по возможности однородными.
Один из способов обеспечения репрезентативности выборки является ограничение популяции (пол, возраст, профессия, здоровье, социально-эконом. статус и др.). Такая популяция определяется как специфическая.
Процедура составления выборки:
1. Отбор испытуемых в выборку стандартизации
2. Определение популяции с выделением в ее структуре переменных значимых, малозначимых (возраст, пол)
3. Популяция делится на части в зависимости от значимых переменных.
4. Испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Минимальный порог выборки – 200 человек.
Шкалирование
Разнообразные виды измерения в теоретическом плане формализуются с помощью понятий числового представления и шкалы. Шкала — это множество чисел, отношения между которыми отражают отношения между объектами эмпирической системы. В частности, шкалой можно назвать результаты измерения, полученные определенной системой вопросов, заданных испытуемому, а также сам инструмент измерения (т. е. систему вопросов, опросник, тест). Шкалы разделяют по типу в соответствии с тем, какие отношения они отражают, и, что эквивалентно, теми допустимыми (математическими) преобразованиями, которые оставляют инвариантными соответствующие отношения. Широко известна простая типология шкал, предложенная амер. психологом-психофизиком Стэнли Стивенсом (1946): шкала отношений, интервальная, порядковая и номинальная шкалы.
Номинальная шкала (или шкала наименований) отображает лишь отношение эквивалентности, посредством которого объекты группируются в отдельные непересекающиеся классы, причем номер класса фактически не имеет количественного содержания и м. б. заменен названием, шифром и т. д. Примером шкалы такого рода может служить нумерация игроков спортивных команд.
Порядковая (или ранговая) шкала отображает, кроме отношения эквивалентности, еще и отношение порядка; допустимым для нее будет любое монотонное преобразование. Примеры: балльные оценки успеваемости в школе, шкала твердости минералов (шкала Мосса).
Интервальная шкала, помимо отношений, указанных для шкал наименований и порядка, отображает отношение расстояний (разностей) между парами объектов. Для нее допустимым является положительное линейное преобразование (изометрическое преобразование). Шкалы Цельсия и Фаренгейта, с помощью которых измеряется физическая температура, представляют примеры интервальных шкал. В психологии к таким шкалам относят шкалы измерения различных субъективных феноменов, полученные методом парных сравнений. См. также Аддитивная шкала.
Шкала отношений (пропорциональная шкала) допускает лишь умножение шкальных значений на константу (преобразование подобия). В физике этому типу шкалы удовлетворяют многие процедуры измерения, напр., массы в кг, длины в м, температуры в град. Кельвина. Иногда в качестве синонима «шкалы отношений» используется термин «абсолютная шкала», поскольку нулевая точка здесь не является произвольной и называется «абсолютным нулем». Однако термин «абсолютная шкала» имеет и более узкое значение, когда он применяется для обозначения шкалы, допускающей лишь тождественные преобразования и отображающей количество «неделимых» и «однородных» (дискретных) объектов, напр., количество жителей города N, число зубов, объем кратковременной памяти и т. д.