2. Промежуток времени между первым и вторым обследованиями

Коэффициентом стабильности можно измерять не только абсолютные свойства, но и те свойства, которые находятся в процессе интенсивного развития (например умение проводить обобщения). В таком случае он, скорее всего, будет невысоким. Но это не является его недостатком, это еще одна его функция: быть показателем определенных изменений, развития исследуемого свойства. Такое динамичное свойство необходимо брать по частям, по этапам, стадиям его трансформации.

Таким образом, вопрос о стабильности измеряемого свойства не решается всегда однозначно. Решение зависит от сущности самого диагностируемого свойства.

Критерием константности пользуются не часто, но пренебрегать им нельзя. Несмотря на то, что любая методика всегда снабжена программами, инструкциями (по поводу проведения теста), остается много моментов, зависящих от личности исследователя (скорость речи, тон голоса, паузы и т.д.). Особенно существенную роль играет личность экспериментатора при применении проективных методик.

Коэффициент константности определяется путем корреляции результатов двух опытов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже +0,80.

Итак, важно отметить, что только методика, располагающая полной характеристикой надежности, наиболее пригодна для диагностического применения на практике.

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности решается после того, как установлена точная надежность методики (ненадежная методика не может быть валидной). Но самая надежная методика без знания ее валидности является практически бесполезной.

Валидность теста - понятие, указывающее нам, ч т о тест измеряет и насколько хорошо он это делает. Валидность - это комплексная характеристика, включающая, с одной стороны, сведения о пригодности методики для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. Поэтому нет универсального подхода к определению валидности (какую сторону валидности исследователь рассматривает, такие же он использует для этого способы доказательства).

Проверка валидности методики называется валидизацией. Валидизация имеет две стороны: теоретическую (валидность измерительного инструмента, методики) и прагматическую (валидность цели использования методики). При прагматической валидизации суть предмета измерения (психологические свойства) оказывается вне поля зрения, так как важно доказать, что “нечто”, измеряемое методикой, имеет связь с определенными областями практики.

Как мы можем узнать, что тест измеряет то, для чего он предназначен? Рассмотрим существующие способы доказательства валидности тестов, каждый из которых соответствует определенному аспекту этого значения.

Очевидная (внешняя валидность):

1. Методика признается валидной в силу очевидности того, что она измеряет именно то, что подразумевается.

2. Доказательство валидности основывается на чувстве уверенности исследователя в том, что его метод позволяет понять испытуемого.

3. Методика рассматривается как валидная (то есть принимается утверждение, что такой-то тест измеряет такое-то качество только потому, что ее создатель имеет “очень высокий авторитет”, или потому, что та теория, на основании которой строилась методика, “очень хорошая”).

Очевидная валидность важна постольку, поскольку взрослые испытуемые обычно не включаются в работу с тестами, которым не достает внешней валидности.

Для теоретической валидизации кардинальной проблемой является отношение между психическими явлениями и их показателями, посредством которых эти психические явления пытаются познать. Поэтому для измерения валидности не столь сложно осуществить сопоставления новой методики, если для измерения валидности уже имеется методика, валидная по сути. Если корреляция методик подтверждает единую их эталонность, если новая методика более компактна и экономична в проведении и обработке результатов, то она более надежна и валидна, чем старая.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и, с другой стороны, отсутствие этой связи с методиками, имеющими иное теоретическое основание (дискриминантная валидность).

Прагматическая валидизация подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности. Ей придают большое значение особенно там, где встает вопрос отбора. Разработка и использование диагностических методик имеет смысл только тогда, когда есть обоснованное предложение, что измеряемое качество проявляется в определенных жизненных ситуациях и видах деятельности. Не случайно в 20-30-е гг. XX в. эмпирический критерий оценки диагностической методики доминировал (было важно, чтобы тест работал, помогал быстро и дешево подбирать людей). Теоретическая слабость тестов в конце концов вызвала шквал критики в адрес диагностических методик. Поэтому эмпирический критерий при определении валидности теста стали называть внешним критерием (то есть показатель проявления изучаемого свойства в повседневной жизни). Американские исследователи Тиффин и Маккормик выделяют четыре типа таких внешних критериев:

1. Критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т.п.).

2. Субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или кому-либо, его мнения, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет).

3. Физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряются частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.).

4. Критерии случайности (применяются когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем требованиям (основным): он должен быть релевантным, свободным от помех (контаминации), надежным.

Под релевантностью надо понимать смысловое соответствие между диагностическим инструментом и независимым жизненно важным критерием. Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависят от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, “загрязнить” применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях или пытаются корректировать влияние помех. Например, производительность следует брать не по абсолютным показателям, а в отношении средней производительности рабочих, работающих в аналогичных условиях.

Оценка валидности методики может носить количественный и качественный характер.

А. Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, у тех же лиц.

Используются разные виды линейной корреляции (по Спирмену, по Пирсону). Количество испытуемых, необходимых для расчета валидности, как показала практика, должно быть не менее 50, но лучше, когда более 200 человек. Низким признается коэффициент валидности порядка 0,20 - 0,30, средним 0,30 -0,50 и высоким - свыше 0,60.

Б. Для оценки качественного показателя существует несколько видов валидности, обусловленных особенностями диагностических методик, а так же временным статусом внешнего критерия. Это следующие виды:

• содержательная валидность. Этот прием применяется в основном в тестах достижения. Обычно в тесты достижения включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (три- четыре вопроса). Важно проверить, чтобы правильные ответы на эти некоторые вопросы свидетельствовали об усвоении всего материала;

• валидность “по одновременности” или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т.д. С ними коррелируют результаты успешности по тесту;

• “предсказывающая” валидность (“прогностическая” валидность). Определяется также по достаточно надёжному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешний критерий выражает в каких-либо оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Однако применить этот метод трудно, так как точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно;

• “ретроспективная” валидность определяется на основе критерия, отражающего событие или состояние качества в прошлом. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения по диагностической пробе и т.д. у лиц с высокими и низкими в данный момент оценками.

Не существует какого-либо единственного показателя, демонстрирующего валидность теста. Для полной ее проверки следует учитывать множество получаемых показателей.

Когда тест проверяется на валидность, важно указывать, на какой вид валидности.