Пиотровский

Чтобы получить точное значение вероятности, соответствующее вычисленному значению х1> произведем интерполяцию:

Р(Х») = р (3,66) = 0,3916 — (0,3916 — 0,2615)0,66 = = 0,3916 -0,0859 = 0,3057.1

стотами можно считать случайными и несущественными. Иначе говоря, снова оправдывается гипотеза Я0, согласно которой нормальное распределение достаточно хорошо воспроизводит распределение средних длин словоупотреблений в языках мира.

гипотезу Н0 без того, чтобы производить утомительные интерполяционное вычисления.

2. Проверка гипотезы о нормальности распределения средних длин словоформ с помощью критерия Колмогорова. Оценка гипотезы о близости теоретического F (х) и выборочного эмпирического Fn (х) распределения может быть осуществлена с помощью критерия согласия Колмогорова, который использует в качестве меры расхождения между эмпирическим и теоретическим распределениями величину

DN = max | Fn (*) — F (*)|,

с которой мы уже встречались в гл. 8, § 5, п. 2. Нулевая гипотеза Н0 состоит в предположении, что случайная величина X распределена по теоретическому закону F (х), или, иначе говоря, эмпирические значения Fn (х) сходятся по вероятности к теоретическим значениям F (*). Альтернативная же гипотеза Н1 утверждает, что

которое можно рассматривать как некоторое событие.

Применение критерия согласия Колмогорова представляет нахождение вероятности того, что распределенная по закону Кол-

где <? >• 0 — достаточно малое число.

340

Итак, вероятность события, состоящего в появлении при еди-

торые в своей сумме можно рассматривать как единичный опыт проверки расхождения распределений FN(X) И F(X). Если полученная при этом случайная величина X=DN ~VN окажется не меньше К, то это будет означать, что в нашем единичном опыте осуществилось собы-

В итоге мы вынуждены отвергнуть нулевую гипотезу Н„ о том, что

нулевую гипотезу. Такая ситуация свойственна любой научной дисциплине. Чтобы опровергнуть некоторое теоретическое положение, достаточно привести хотя бы один противоречащий пример, а для того чтобы доказать его правильность, примеров уже недостаточно.

Применение критерия Колмогорова осуществляется по следующей схеме.

1. Строится

эмпирическая функция Fn {х) и предполагаемая теоретическая функция распределения F(x).

2.Выдвигается гипотеза # 0 , согласно которой эмпирическая функция Fn (*) аппроксимирует закон F (х).

3.Ставится опыт, заключающийся в сравнении полученных эм-

тистическими флуктуациями, не меньше полученной в нашем опыте максимальной разности D%.

341

вероятных событий появление неравенства DNVN ^ считается невозможным событием. Отсюда следует, что расхождение D% между эмпирическим и теоретическим распределениями нужно считать существенным. Это в свою очередь означает, что гипотеза о близости

о нормальности распределения средних длин словоформ в языках мира.

4) Из табл. VII находим вероятность того, что случайная величина D100Y100, распределенная по закону Колмогорова, примет значение, не меньшее, чем 0,5:

Р (D100 УТШ > 0,5) = 1 — к (0,5) = 0,9639.

342

5) Полученная вероятность намного больше принимаемого обычно уровня значимости q = 0,05, поэтому расхождение D% следует считать несущественным; это дает нам право принять гипотезу о нормальности распределения средних длин словоформ по языкам мира.

и большие значения х). Но именно поведение этих «хвостов» оказывается иногда решающим при определении близости эмпирического и теоретического распределений [61, с. 281].

Во-вторых, критерий Колмогорова дает вполне удовлетворительные результаты, когда известен не только вид предполагаемой теоретической функции, но и все ее параметры. Такой случай редко встречается в лингво-статистической практике: обычно параметры теоретического распределения неизвестны, и их приходится оценивать с помощью опытных данных. Применяя критерий х2. м ы учитывали это обстоятельство путем уменьшения числа степеней свободы. Критерий Колмогорова этой процедуры не предусматривает. Поэтому применение его в случаях, когда параметры теоретического распределения неизвестны, приводит обычно к завышению значения вероятности у. Это может повлечь за собой принятие гипотезы, плохо согласующейся с опытными данными. Чтобы избежать этой ошибки, некоторые авторы предлагают считать несущественными расхождения между эмпирическим и теоретическим распределением, параметры которого не известны, лишь в том случае, если вероятность у > 0,6 [7, с. 271].

3. Проверки гипотезы о нормальности распределения средних длин словоформ с помощью упрощенных критериев. Всякая гипотеза о нормальности вариационного ряда может проверяться не только с помощью таких строгих критериев, как критерий ха Пир- сона или критерий Колмогорова, но и оцениваться также с помощью некоторых упрощенных приемов.

Рассмотрение этих приемов начнем с критерия Романовского. Опираясь на правило «трех сигм» (см. гл. 6, § 4, п. 4), В. И. Романов-

распределение х а . асимптотически приближается к нормальному

тической уверенности (см. гл. 6, § 4, п. 1), нетрудно прийти к простому правилу, согласно которому, если

tfm = | X a - v | / V ^ < 3 ,

843

то расхождение между эмпирическим и нормальным распределениями можно считать с вероятностью 0,98 и 0,99 случайным; если же

то расхождение следует считать существенным.

Пользуясь этими правилами, проверим гипотезу о нормаль-. ности распределения средних длин словоупотреблений в языках мира.

Так как х2 = 3,66 (см. табл. 9.14), a v = 3, то

Здесь R m < 3, поэтому можно считать, что расхождение между эмпирическим и теоретическим распределением случайно и нормальное распределение достаточно хорошо воспроизводит интересующее нас эмпирическое распределение.

Нормальность вариационного ряда может быть проверена с помощью чисел Вестергарда. Эта проверка, опирающаяся на правила «двух» и «трех сигм», строится по следующей схеме.

Сначала задаются четыре множителя 0,3; 0,7; 1,1; 3, затем вычисляется средняя арифметическая х = F и среднее квадратическое отклонение ст. Гипотеза о нормальности рассматриваемого эмпирического распределения не отвергается, если удовлетворяются

критерия х2 Пирсона), сгруппируем данные табл. 7.28 (см. стр. 260) так, как этого требуют условия Вестергарда (табл. 9.16).

Эта группировка показывает [см. столбец (3)1, что распределение средних длин словоформ подчиняется нормальному закону.

Проверку нормальности эмпирического распределения можно осуществить графическим путем с помощью вариационной сетки Турбина [7, с. 249], представляющей прямоугольную систему ко-

344

ординат, в которой по оси абсцисс откладывается линейный масштаб*, а по оси ординат наносится логарифмическая шкала, соответствующая интегральной функции

х

— оо

Шкала на оси ординат состоит из разных отрезков—циклов, каждый из которых соответствует изменению характеристики логарифма на единицу. Циклы разбиваются на части соответственно изменению мантисс десятичных логарифмов. На логарифмической шкале не может быть нулевой отметки, поскольку lg 0 = — оо.

Идея использования сетки Турбина заключается в следующем. Пусть имеется система координат х, у (0 ^ у ^ 1) с линейной

шкалой по оси х и нелинейной — по оси у. Путем некоторого пре-

Интегральная кривая нормального распределения у = F (х) асимптотически приближается к нулю и к единице (т. е. к 100%; рйс. 65). Поэтому наша шкала по оси ординат не может достичь ни нуля,

345

2,40 3,00 ЦО WO \80 5,10 6,00 6,60, 7,20 7,80 8,10 X (Xj)

Рис. 65

Схема использования сетки Турбина для проверки нормальности лингвистического распределения предусматривает следующие операции.

1. По оси абсцисс откладываются значения признака, взятые из эмпирического лингвистического распределения (вариационного ряда), а по оси ординат—соответствующие им накопленные частости {[*).

2. Если эмпирическое распределение хорошо аппроксимируется нормальным распределением, то его интегральная кривая образует на «вероятностной бумаге» в интервале ординат 10 — 90% прямую линию. Если же эмпирическое распределение не укладывается в нормальное распределение, то точки, соответствующие накопленным частостям f*, заметно отходят от прямой линии.

Для оценки гипотезы о нормальности распределения средних длин словоупотреблений в языках мира нанесем на сетку Турбина (рис. 65) накопленные частоты til [см. табл. 9.14, столбец (15)|, соответствующие серединам линтервалов. Полученные точки в интервале 2 — 90% располагаются близко к прямой. Это снова говорит о том, что распределение средних длин словоупотребления в языках мира близко к нормальному*.

Итак, мы проверили гипотезу о нормальности распределения средних длин словоформ в различных языках мира с помощью шести статистических критериев. Все эти критерии подтвердили справедливость указанной гипотезы.

4. Проверка с помощью критерия Колмогорова—Смирнова гипотезы о согласии распределений средних длин словоформ в двух языковых семьях. Используя различные статистические критерии, мы выяснили, что средние длины словоформ в языках мира распределены нормально. Отсюда можно предположить, что распределения средних длин словоформ в разных семьях языков идентичны. Проверим это предположение применительно к финноугорским и тюркским языкам с помощью критерия Колмогорова — Смирнова,

основные идеи которого сводятся к следующему. Пусть эмпири-

стремится к функции Колмогорова (см. гл. 8, § 5, п. 2)

+00

А= — О О

*Ср. использование сетки Турбина в работе [33, с. 206—2431 при определении нормальности вариационных рядов стилистических признаков, использующихся при установлении авторства анонимного текста.

347

где X > 0; иными словами,

Применение критерия Колмогорова — Смирнова, так же как и использование критерия Колмогорова, построено на нахождении вероятности того, что величина Dn^n, VNo примет некоторое значение, не меньшее, чем А,. В этом случае имеет место неравенство

которое является противоположным событием по отношению к не-

где Ч >• 0 — достаточно малое число.

Выражения (9.26) и (9.27) используются для проверки нулевой

представляют выборки Nt и N2, принадлежащие, одной и той же генеральной совокупности. Весь ход рассуждений при проверке Н0 аналогичен рассуждениям, на которых строилось использование критерия Колмогорова (п. 2), поэтому повторять их здесь мы не бу-

2.Выдвигается гипотеза Н0 о полном согласии функций FN, (Х)

иFn, (Х) И принадлежности выборок Л^ и JV2 к одной генеральной совокупности.

дение

4. Из табл. VII на стр. 369, 370 определяется вероятность у того, что случайная величина DN,N, = X, имеющая распределение Колмогорова, примет значение, не меньшее, чем А,0. Величина у есть одновременно вероятность того, что действительное максимальное расхождение

DNiN, = m a x | FN, (*) —^N, (*) |,

которое можно отнести за счет случайных статистических флуктуаций, не Меньше полученной в нашем опыте максимальной разности

D%INL.

5. Если вероятность у очень мала, т. е. не выше заданного порога q (обычно 1 = 0,10; 0,05; 0,01), то, опираясь на принцип прак-

348

тической невозможности маловероятных событий, мы должны считать появление неравенства

{DN,N, VN~0 = X } ^ X 0

невозможным событием. При этом расхождение DN,N, между нашими эмпирическими расхождениями следует рассматривать как существенное. Отсюда следует, что гипотеза # 0 о согласии обоих распределений и принадлежности выборок Nt и jV2 к одной генеральной совокупности должна быть отвергнута.

6. Если же вероятность у. сравнительно велика, т. е. больше заданной вероятности Ч, то разность DJv,w2 можно считать несущественной. Поэтому следует принять гипотезу Н0 о согласии распределений FN1 (*) и FN, (Х) И принадлежности выборок N2 К одной генеральной совокупности.

Особенность критерия Колмогорова—Смирнова состоит в том, что он со сколь угодно большой вероятностью позволяет обнаруживать любое расхождение между двумя эмпирическими функциями Fw, (х) и Fn, (х) при условии, что и N2 достаточно велики. Этот критерий применяется тогда, когда нужно проверить полное согласие обоих распределений на всем интервале изменения случайной величины X и когда для этой проверки имеется очень обширный материал наблюдений.

Применяя приведенную выше схему, проверим гипотезу о согласии распределений средних длин словоформ в тюркских и финноугорских языках.

1) Воспользовавшись данными табл. 7.27 (см. стр. 259), составим вспомогательную таблицу (табл. 9.18), в столбцах (6) и (7) которой приведены эмпирические интегральные функции распределения длин словоформ: FNT (Х) для тюркских и FN, (Х) для финноугорских языков.

2) Выдвигаем гипотезу Н0 о согласии этих функций и принадлежности выборок JVj (тюркские тексты) и N2 (финноугорские тексты) к одной генеральной совокупности с точки зрения распределения длин словоформ.

3) Выбираем наибольшую разность

DN1 N, = max | FNT ( Х ) - F N L (Х) | = ] 0,278-0,714 J = 0,436 и определяем пороговое значение

Ко = 0,436 У 18-14/(18+14) = 0,436 У 1 , 2 2 3 .

4) Пользуясь табл. VII, выясняем, что случайная величина к, имеющая распределение Колмогорова, примет с вероятностью 0,10 значение, не меньшее, чем Х0 = 1,223.

5) Полученная вероятность не мала, поэтому можно принять нулевую гипотезу, которая утверждает, что с точки зрения распределения средних длин словоформ тюркские и финноугорские тексты принадлежет к одной генеральной совокупности, в качестве которой, как это было показано в п. 1 — 3 § 5, выступают тексты языков мира.

349