Пиотровский

дая. В выборке Л^ лингвистический признак L может рассматривать-

Ви л к о к с о н а .

2.Критерий знаков. Подсчет появлений лингвистического при-

знака А в каждой из п порций выборок Л^ и N2 дает два ряда независимых частот:

Х\, Х2, ..., Xi, ..., хп\ yi, у2, ..., У{, .., Уп»

где частоты, принадлежащие первой и второй выборкам, образуют

пары (хъ y j , (х2, у2), ..., (xh г/г), ..., (Xni Уп)-

Далее составляются разности

рассматривать соотношение числа положительных значений гг (суммы плюсов), равного т, с количеством отрицательных значений

Сформулируем сначала нулевую гипотезу Н0, которая утверждает, что в каждой i-й паре порций величины X и Y являются независимыми и одинаково распределенными, а вероятность того, что разность Zi = xt — yt будет положительной, равна вероятности того, что эта разность окажется отрицательной, т. е.

Р ^ > 0) = Р (Zi < 0) = 1/2,

с учетом того, что Р (г( = 0) = 0. Напротив, согласно альтернативной гипотезе Ну различия между xt и yt являются значимыми, или иными словами,

Р (zt > 0) Ф Р (zt < 0).

Чтобы решить, какую из двух гипотез следует принять, необ" ходимо опытное значение критерия знаков сопоставить с грани" цами доверительного интервала для числа плюсов. Эти границы* характеризуемые уровнем существенности (уровнем значимости' а = q, определяются исходя из следующих соображений.

Вероятность того, что п разностей zt дадут т плюсов, описысывается биномиальным распределением вида

310

Дальнейшая процедура проверки гипотезы Н0 зависит от того

равное т, окажется больше некоторого граничного числа т, составит

Одновременно вероятность события, заключающегося в том, что среди всех zv z2, ..., zn число положительных zit равное т, будет меньше граничного т, есть

превосходит некоторой вероятности а/2. Тогда гипотезу Н0 мы будем

няя границы доверительного интервала. При этом гипотеза Я0 отвергается не только тогда, когда т — количество положительных zt превышает границу т, нб также и тогда, когда число отрицательных zjt равное п — т, оказывается ниже границы т. Если границы

m и т остались теми же, что и при одностороннем критерии, то уро-

Теперь, пользуясь описанным математическим аппаратом, проверим лингвистическую гипотезу, согласно которой две достаточно большие, взятые наугад из одной и той же разновидности языка текстовые выборки окажутся идентичными относительно употребляемой данной разновидности лексики. Если проверка этой гипотезы с помощью критерия знаков дает положительный результат, то это позволит предполагать, что в указанных выборках употребление лексики подчиняется некоторой вероятностной норме.

311

об идентичности этих выборок относительно словоформы govern-

в которых определены частоты употребления government (см. вторую и третью строки табл. 9.2); в четвертой строке помещены разности zt = F\ — F". Всего имеем 10 плюсов, 9 минусов, а в 14-й

Это говорит о том, что расхождения в частотах qovernment по обеим - выборкам несущественны, т. е. рассматриваемая словоформа имеет в обеих выборках постоянную вероятность. Аналогичным образом

312

исследовано употребление остальных 588 именных, глагольных, адвербиальных и служебных словоформ в английских публицистических текстах [32 а, с. 28]. Выяснилось, что только 4 словоформы —• busy 'сыщик', refused 'отказал' сап 'могут', by 'при, около' дают для критерия знаков такие значения, которые выходят за пределы 5%-ного доверительного интервала. Иными словами, только 0,7% обследованных словоформ обнаруживают неустойчивость своих вероятностей: остальные 99,3% словоформ имеют постоянные вероятности, что является косвенным указанием нормативности их употребления.

3. iZ-критерий Вилкоксона. Подобно критерию знаков, критерий Вилкоксона используется для проверки гипотез о несущественности расхождения двух лингвистических выборок, а в нашем случае для проверки гипотезы о нормативности. Строится этот критерий следующим образом. Пусть независимые выборки Nx и N2 разбиты соответственно на пх и на п2 порций, причем интересующий нас лингвистический элемент встретился в i-й порции первой выборки xi раз, а в i-й порции выборки N2 он встретился yt раз. Расположим теперь все значения хг и yt в одну строку в порядке возрастания численных значений х и у, не обращая внимания на индексы. В результате мы получаем смешанный вариационный ряд. Инверсией называется случай, когда у располагается перед х независимо от точного положения xt и уг в вариационном ряде.

Так, например, последовательность

у у х у х у х х

содержит 13 инверсий, поскольку первый хдает 2, второй 3, третий и четвертый по 4 инверсии. Полная сумма U числа инверсий в вариационном ряде есть случайная величина, численное значение которой, установленное в результате опыта, и является критерием Вилкоксона. Теперь попытаемся выяснить, о чем говорит численное значение U: когда оно требует принять, а когда отвергнуть проверяемую нулевую гипотезу?

Согласно критерию Вилкоксона, нулевая гипотеза должна быть отвергнута, если количество инверсий U выходит за некоторыз пределы и и и (где н < ы ) , зависящие от уровня значимости й. При этом оказывается, что если нулевая гипотеза верна, то случайная величина U имеет, как показал Б. Л. ван дер Варден [61, с. 336], распределение вероятностей с математическим ожиданием

и дисперсией

Показано [61, с. 337], что если пх > 3 и пх + пъ > 20, то это распределение с достаточной точностью может считаться нормальным. Последнее обстоятельство позволяет определить пределы и, и,

313

где Ф (г) — известный интеграл вероятностей. Таким образом, при заданном <1 соотношение (9.7) определяет г (см. табл. III на стр. 365 и табл. VI на стр. 369). _ По значениям пъ п2, z можно легко определить пределы и и и:

u = - w ( U ) + M ( U ) = - - z \ f 3 | i - ( n 1 + „2 + D + -2L2L, (9.8)

раничение), то это означает, что при справедливости нулевой гипотезы из 100 значений критерия Вилкоксона в среднем лишь пять

что выбранные нами уровни значимости хорошо согласуются с известным правилом «трех сигм», которое утверждает, что если некоторая случайная величина уклоняется на опыте от своего математического ожидания на величину, превышающую Зо (при этом как раз г ^ 3), то это происходит, как правило, за счет неслучайног0 воздействия на нее каких-то существенных факторов или за счет изменения условий наблюдения этой величины. Последнее прин-

314

ципиально меняет характер распределения вероятностей случайной величины.

С помощью критерия Вилкоксона можно проверить гипотезу об устойчивости вероятности словоформы government в английских публицистических текстах.

Расположим теперь все значения F\ — xt и Fli = yt в порядке возрастания численных значений F, не обращая внимания на верхние и нижние индексы. В тех случаях, когда величины F\ = F\l, вопрос об их взаимном расположении решается путем жеребьевки. Исходя из этих условий, получаем следующий вариационный вид:

В соответствии с выражениями (9.8) и (9.9) 5%-ные доверительные пределы для критерия Вилкоксона в нашем случае таковы:

и = 200 — 1,96 • 37 » 127;~ы = 200 + 1,96 • 37 « 273.

Нетрудно заметить, что число инверсий и = 197 контрольного слова government попадает в только что указанный доверительный интервал. Это дает право с уверенностью в 95% утверждать, что расхождения между распределениями в обеих выборках имеют случайный, нелингвистический характер, а само употребление этой словоформы подчинено некоторой норме.

315

Исследование с помощью критерия Вилкоксона остальных 599 словоформ [32а, с. 16 — 26] показало, что только 16 словоформ (began, city, continue, economy, greater, in, (information, mother, movement, outside, plans, real, that, through, whose, yet) дают значения Вилкоксона, выходящие за 5%-ные доверительные пределы.

Между тем нулевая гипотеза оставалась бы справедливой, если бы таких случаев было тридцать. На основании этого можно сделать вывод, что словоформы в английских публицистических текстах имеют устойчивые распределения Р (F). Если в этих текстах и встречаются лингвистические единицы с неустойчивыми распределениями,

то вклад таких единиц не превышает ^16 • 100% = 2,7%.

§ 3. Проверка гипотез о характере расхождений статистических характеристик языков, функциональных

стилей и подъязыков с помощью параметрических критериев

При рассмотрении лексикологических, фонологических и грамматических проблем, связанных с сопоставлением различных языков, подъязыков и функциональных стилей, приходится сравнивать абсолютные и относительные частоты употребления лингвистических единиц в разных стилях, подъязыках, художественных произведениях. Все эти оценки и сопоставления осуществляются путем проверки гипотезы о существенности расхождения между соответствующими параметрами распределений интересующей исследователя лингвистической единицы.

1. Может ли средняя длина словоформы быть статистической

характеристикой стиля и языка? Пусть имеется генеральная лингвистическая совокупность, элементы которой распределены нормально и характеризуются математическим ожиданием М (X) = ц. На основе выборочных наблюдений внутри этой совокупности получено значение средней арифметической х, не совпадающее точно со значением ц. Необходимо решить вопрос о существенности расхождения величин х и ц..

Решение этой задачи сводится к проверке нулевой гипотезы # 0 , состоящей в допущении, что расхождения между х и ц. несущественны, т. е. что х — р.. В этом случае альтернативная гипотеза Ну

заключается в утверждении, что х Ф ц.

Выбор критерия и статистической характеристики для проверки гипотез зависит от того, известно или неизвестно нам среднее квадратическое отклонение от.

Чаще всего величина от остается неизвестной. В этом случае в качестве статистической характеристики выбирается не случайная величина х, а величина

316

имеющая распределение Стьюдента с v = N — 1 степенями свободы

заданный уровень значимости*. Тогда областью приемлемости

для каждой из односторонних критических областей.

Проверка гипотезы Н0 о несущественности расхождения величин

* и р. сводится к следующему:

а) определению по заданному уровню значимости и количеству степеней свободы v = N — 1 величины v;

б) вычислению по формуле (9.10) статистической характеристики (\ в) сравнению величин t и

Сам же критерий принятия или отвержения нулевой гипотезы формулируется таким образом:

ожидание р. = М (х) статистически неразличимы (т. е. если различия между ними и наблюдаются, то они вызваны несущественными причинами);

Описанная процедура проверки нулевой гипотезы носит название / - к р и т е р и я , или критерия Стьюдента.

* Поскольку проверка статистических гипотез основывается иа выборе критической области, определяемой уровнем существенности, при рассмотрении наших гипотез мы будем исходить не из надежности р, а из уровня значимости q, учитывая при этом, что г = г^ и t = .

317

Если для генеральной лингвистической совокупности известно не только математическое ожидание М (х) — ц интересующего нас элемента, но и среднее квадратическое отклонение а, то в качестве статистической характеристики следует брать не t, а значение

(9.11)

Дальнейший ход решения задачи точно совпадает с операциями

распределения средних длин словоформ в языках мира. Если эта гипотеза подтвердится (ср. п. 2, § 1), то можно считать, что расхождения между средними длинами словоформ по отдельным языкам несущественны.

Но значит ли это, что такая несущественность расхождения между языками мира будет наблюдаться и при сравнении средних длин словоформ одного функционального стиля?

Чтс бы ответить на этот вопрос, рассмотрим расхождения между средней длиной словоформы в научно-технической и деловой речи шести славянских языков, равной 6,13 буквы при стандарте 0,43, с одной стороны, и средней длиной словоформы в указанных стилях всех языков мира, которая равна примерно 7 буквам, — с другой

практически соответствует средней длине словоформы в языках ми-

318

Неравенство | / | > /о,о5;5 свидетельствует о том, что значение нашей статистической характеристики t, с помощью которой мы проверяем гипотезу о несущественности расхождений средних длин, попадает в критическую область, в связи с чем эта гипотеза должна быть отвергнута.

Пповерим эту гипотезу с помощью Z-критерия, полагая при

этом, что s = а = 0,43.

Для этого с помощью табл. VI находим нижнюю границу критической области, равную z0 о5 = 1,96, с которой сопоставляем абсолютное значение z, вычисленное с помощью соотношения

( S i . i l ):

i i i i z l y T - —®i®L -2,45= —4.95.

о том, что значение статистической характеристики г опять попадает в критическую область.

Таким образом, и в том и в другом случае гипотеза Н0 о несущественности различия между средней длиной словоформы в славянских деловых и научно-технических текстах и средней длиной словоформы в аналогичных текстах языков мира должна быть отвергнута. Более правдоподобной оказывается альтернативная гипотеза #!, согласно которой расхождение между хсл и [х = М (X ) является существенным.

Это расхождение можно отнести, вероятно, за счет двух причин. Во-первых, славянские языки используют флективно-аналитическую технику оформления именных форм, составляющих значительную часть деловых и научно-технических текстов во всех языках. Такая техника не дает столь значительного удлинения основы, как агглютинация в тюркских, финноугорских и других языках, занимающих значительную статистическую долю во взятой нами выборке языков. Во-вторых, славянские языки в отличие от немецкого и некоторых финноугорских языков сравнительно мало пользуются словосложением при образовании научно-технических и администра- тивно-деловых терминов.

2. Существенны ли расхождения значений избыточности в разговорной, беллетристической и деловой речи? Избыточность является информационной характеристикой, в которой обобщаются различные статистико-дистрибутивные свойства текста (см. гл. 5, § 5, п. 6). Поэтому при сопоставительном изучении стилей или других разновидностей языка важно знать, относится ли наблюдаемое расхождение в значениях избыточности двух стилей к существенному или несущественному. Сопоставление этих значений можно осуществить, проверяя с помощью параметрических критериев гипотезы о несущественности расхождения двух средних. Рассмотрим математическую схему проверки такой гипотезы.

Пусть имеются две нормально распределенные случайные и независимые лингвистические выборки достаточно большого объема:

319