Требования к экспериментальной выборке:

1. Содержательный критерий (критерий операциональной валидности). Подбор экспериментальной группы должен определяться предметом и гипотезой исследования.

2. Критерий эквивалентности испытуемых (критерий внутренней валидности). Результаты, полученные при исследовании экспериментальной выборки, должны распространяться на каждого ее члена. То есть мы должны учитывать все значимые характеристики объекта исследования, различия в выраженности которых могу повлиять на зависимую переменную. (Например, различия в уровне интеллекта)

3. Критерий репрезентативности (критерий внешней валидности).

Результаты, полученные при исследовании экспериментальной выборки, должны быть применимы ко всей популяцию, на которую будут распространяться выводы.

Одним из наиболее известных исторических примеров нерепрезентативной выборки является случай, произошедший во время президентских выборов в 1936 году. Успешно прогнозируя события нескольких предыдущих выборов, журнал «Литрери Дайджест» попытался предсказать результаты выборов, послав 10 миллионов пробных бюллетеней своим подписчикам, людям, выбранным по телефонным книгам всей страны, и людям из регистрационных списков автомобилей. Около 25% бюллетеней (почти 2,5 миллиона) вернулись в журнал заполненными. Из людей, заполнивших бюллетень, 57% выбрали кандидата от республиканской партии Альфа Лэндона, а 40% выбрали действующего президента Франклина Рузвельта. На действительных выборах победил Рузвельт, набрав более 60% голосов. Хотя редакторы журнала знали, что их подписчики в основном принадлежат к верхней прослойке среднего класса и одновременно являются республиканцами, они подумали, что, расширив выборку за счет людей, выбранных из телефонных книг и регистрационных списков, они сделают ее более репрезентативной. В действительности они просто набрали еще больше республиканцев. В разгар Великой депрессии позволить себе иметь телефоны и автомобили могли лишь принадлежащие к верхней прослойке среднего класса и верхнему классу люди, а они в большинстве своем были республиканцами, а не демократами. Поэтому на самом деле в своем опросе журнал спрашивал республиканцев о том, кому они отдадут свои голоса. Есть и еще один недостаток данного опроса. Большое количество бюллетеней вернулось, и составители журнала были вполне уверены в правильности предсказания о победе Лэндона, так как полученные данные отражали взгляды значительного числа людей - около 2,5 миллионов. Но заметьте, что помимо того, что полученные бюллетени составили только одну четверть от посланных, все эти бюллетени были отправлены теми людьми, которые сами решили это сделать. Так что люди, приславшие бюллетени обратно в журнал, были не просто республиканцами, но республиканцами, пожелавшими сделать свои взгляды общеизвестными (в свете этого 57% выбравших Лэндона - это довольно мало).

Проблема нерепрезентативности выборки нередко возникает при опросах, проводимых популярными журналами. Зачастую в отчетах, сделанных на основе полученных при опросе данных, исследователь старается произвести впечатление числом ответов, а не репрезентативностью выборки. Пример такого явления - отчет о женской сексуальности, в котором кроме прочего утверждалось, что более 90% женщин, состоящих в браке, чувствуют себя эмоционально ущемленными. В ответ на замечание, что опрос был послан лишь отдельным женским организациям и что заполненные опросники прислали обратно только 4,5% из 100 000 женщин, автор просто заявила, что 4500 человек для нее достаточно. Из этого следует, что стоит весьма скептически относиться к утверждениям, сделанным на основании такого рода выборок.