Вопрос 9. Валидность психодиагностической методики.

Вопрос о валидности методик решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика без знания ее валидностиявляется практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: "Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" (1982.С. 126).Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидностиметодики называется валидизациеи.

Валидность в первом ее понимании имеет отношение к самой методике, т.е это валидность измерительного инструмента. Такая проверка называется теоретической валидизациеи. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическаявалидизация.

Итак, при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическаявалидизация. При прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что "нечто", измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическуювалидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическаявалидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т.п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической эффективности, действенности диагностической методики.

Для определения теоретической валидностинайти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. методика признавалась валидной, так как то, что она измеряет, просто "очевидно";

доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет "понять испытуемого";

методика рассматривалась как валидная (т.е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, "очень хорошая".

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Как уже говорилось, провести теоретическуювалидизацию методики — это показать, действительно ли методика измеряет именно то свойство, качество, которое она, по замыслу исследователя, должна измерять. Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие школьников, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т.п.). Таким образом, длятеоретическойвалиди-зации кардинальной проблемой является отношение между психическими явлениями и их показателями, посредством которых эти психические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

Не столь сложно осуществить теоретическуювалидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто используется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Но теоретическаявалидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где исходя из гипотезы значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическуювалидизацию методики тогда, когда такой путь невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т.е. чтобы имелась прочная, обоснованная научная база.

ВОПРОС№10. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИЯ МЕТОДИК.

Технология создания и адаптацииметодик.Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов (А.А.Бодалев, В.В.Столин). Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.

1.Теоретическое обоснование методики.

2. Собственно конструирование.

2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.

2.2. Разработка заданий.

2.4. Предварительное оформление.

3. Апробация методики.

На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

Расчет психометрических показателей на выборке стандартизации.

5. Стандартизация теста. Расчет тестовых норм.

6. Окончательное оформление методики.

7. Пересмотры методики с течением времени.

Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

А.А.Бодалев и В.В.Столин выделяют следующие этапы адаптации переводного теста:

1. Анализ внутренней согласованности пунктов теста.

2. Проверка устойчивости к перетестированию.

3. Анализ корреляций с релевантным внешним критерием.

4. Проверка или рестандартизация тестовых норм.

5. В случае адаптации многомерной методики – проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо: 1) проверить валидность методики; 2) перепроверить тестовые нормы.

ВОПРОС№11.ПРОГНОЗИРОВАНИЕ И РАСПОЗНАВАНИЕ ОБРАЗОВ.

Кардинальное значение для психодиагностики имеет проблема прогнозирования. Существует точка зрения, разделяющая психоди­агностику и так называемую психопрогностику (Забродин Ю. М., 1984). Это указывает на самостоятельное значение проблемы прогно­зирования.

В действительности, любая психодиагностика служит прогнози­рованию - на больших или меньших отрезках времени. То, что назы­вается диагностикой текущего состояния объекта, имеет следующий смысл. В технике сконструированный агрегат подвергают стендовым испытаниям. Полученные результаты приписывают текущему состо­янию объекта, имея в виду, что выключенный агрегат до его эксплуа­тации в реальных условиях уже не будет изменяться сколь-нибудь су­щественным образом. При этом подразумевается, что именно при работе включенного агрегата может измениться его состояние, в ча­стности, выход из допустимого режима.

В психологии дело, конечно же, обстоит по-другому. И перенос подразумеваемых, имплицитных представлений из технической ди­агностики в психодиагностику неправомерен, как, впрочем, непра­вомерен такой перенос уже и по отношению к медико-биологичес­кой диагностике человеческого организма. Организм человека, его психика - это не агрегат, который произвольно можно выключить на период от тестирования до реального испытания. Все это время человек продолжает жить, активно взаимодействовать со средой. Даже в изоляции, даже во сне мозг человека проделывает большую работу, переводя полученную информацию из одних отделов памя­ти в другие (Касаткин В. Н., 1967). Все это означает, что принцип статистической экстраполяции результатов психодиагностического измерения нельзя считать оправданным без проведения специаль­ных проверок.

Когда психолог по результатам тестирования регистрирует у не­которого индивида А показатель Ха, а у некоторого индивида В пока­затель Хb, так что Хa>Хb, то из этого вовсе не следует автоматичес­ки, что соотношение Хa>Хbсохранится в течение следующей недели, месяца, года. Для принятия стратегии экстраполяционного статистического прогноза требуется предварительно произвести эмпиричес­кое измерение надежности - устойчивости (ретестовой надежности) на заданном промежутке времени.

Приведенный выше пример показывает, что в некоторых случаях целесообразно начинать решать проблемы психопрогностики без вся­кого привлечения внешней по отношению к тесту критериальной ин­формации, т. е. средствами проверки надежности, но не средствами проверки валидности. Если уже таким способом будет получен отри­цательный результат, то заведомо будет получен и для измерения ва­лидности статического прогноза (вспомним основной принцип: валидность методики не превышает ее надежность).

Однако надежность лишь необходимое, но, естественно, недоста­точное условие прогностическойвалидности. Можно убедиться в высо­кой устойчивости тестового показателя на длительных промежутках вре­мени, но из этого вовсе не следует, что будут получены значимые линей­ные корреляции этого показателя с требуемым критерием валидности-эффективности.- корреляции, оправдывающие статический прогноз.

Как правило, на основе диагностики принимаются решения, кото­рые соотносятся между собой как события на шкале наименований или на шкале порядка. Каким образом учитываются сегодня при приеме в вуз показатели школьной успеваемости абитуриентов? Существуют три варианта, три градации, соотносимые друг с другом по шкале порядка: выпускникам школы - медалистам предоставляются льготные условия (при успехе на первом экзамене от остальных вступительных экзаме­нов медалист освобождается), лица с удовлетворительным средним баллом допускаются к конкурсным вступительным экзаменам и сдают все экзамены; наконец, лица с неудовлетворительным средним баллом могут вообще не допускаться к вступительным экзаменам. На этом при­мере видно, что средний балл аттестата используется как некоторый показатель «теста», в соответствии с которым абитуриентов разделяют на три категории, по отношению к которым неявно применяется «по­рядковый» прогноз: предполагается, что медалисты будут успешнее обычных выпускников школ, а обычные выпускники - успешнее тех, кто учился в школе очень слабо.

«Порядковый» прогноз сохраняет свою эффективность не только в статических условиях, но и в условиях таких динамических измене­ний объектов прогнозирования, при которых порядковая структура оказывается неизменной. Предположим, что в: ходе обучения в вузе все студенты по мере более глубокого ознакомления с предметом ис­пытывают нарастающий интерес к своей специальности, но если по­рядковая структура сохраняется (Ха продолжает превышать Xb, несмот­ря на то что Xb приближается к Ха), то «порядковый» прогноз все рав­но остается корректным.