Пиотровский

либо максимальное отклонение интегральной эмпирической функ-

Если гипотеза Н0 верна, то закон распределения выборочной характеристики W определяется законом теоретического распределения случайной величины X и числом N.

Будем считать, что закон распределения известен. Пусть для данной выборки с числом опытов N мера расхождения W приняла значение до. Возникает вопрос: определяется ли то или иное численное значение величины W случайными несущественными флуктуациями (в этом случае гипотеза Н0 принимается) или это отклонение настолько значительно, что его следует относить за счет существенного расхождения между теоретическим и эмпирическим распределениями (в этом случае гипотеза Н0 отвергается)?

Чтобы ответить на Этот вопрос, определим, предполагая, что гипотеза Н0 верна, вероятность того, что опытное значение .до не превысит некоторого численного порога w* выбранной меры расхождения — порога, выше которого расхождения между эмпирическим и теоретическим распределениями следует считать существенными.

Если вероятность Р (до < w*) велика, то гипотезу Н0 можно принять как вполне правдоподобную. Если же указанная вероятность очень мала, то следует признать, что экспериментальные данные противоречат гипотезе Н0, и ее нужно отклонить. Аналогичным образом проверяется гипотеза о тождестве двух эмпирических распределений.

Как же следует строить статистическую характеристику W7 Поскольку функции распределения / (я), F (х) чаще всего остаются неизвестными, целесообразно выбирать величину W таким образом, чтобы закон ее распределения не зависел бы от указанных функций распределений и их параметров. Иными словами, для проверки гипотез о расхождениях распределений целесообразно применять непараметрические критерии согласия, среди которых наиболее употребительным является критерий ха Пирсона. Кроме того, здесь применяется критерий Колмогорова, упрощенные критерии Рома-

330

Т а б л и ц а 9.11

Предположим, что нам известен закон распределения случайной величины X, который задан интегральной функцией F (х) или плотностью / (Л;). Зная этот закон, можно определить вероятность pt

утверждающую, что распределение полученных из опыта частостей fi (или частот Ft) согласуется с теоретическим распределением вероятностей pt (или соответственно математических ожиданий Npt ).

Будем проверять гипотезу Н0 о согласованности эмпирического и теоретического распределений, исходя из расхождений между частостями ft и вероятностями pt. Если эти расхождения малы, то здравый смысл подсказывает нам, что гипотезу Н0 можно считать правдоподобной. Если же расхождения велики, то ее вероятно, следует отвергнуть.

Мера расхождения эмпирического и теоретического распределений частостей и вероятностей, известная под названием критерия X2 (хи-квадрат) Пирсона, задается равенством

коэффициента объясняется тем, что отклонения, относящиеся к разным интервалам, нельзя считать равноправными: одна и та же абсолютная величина отклонения ft — рг может быть Очень незначительной при большом значении рг и, наоборот, весьма заметной при очень малом pt. Поэтому в качестве весовых коэффициентов берут величины, обратно пропорциональные вероятностям р{.

Если оценивать соответствие эмпирического и теоретического распределений по расхождениям частот математических ожиданий Fj — Npt, то. легко показать, что выражение (9.15) примет вид

S3!

При построении интервальных вариационных рядов частоту лингвистического признака в данном интервале мы обозначали символом гаь в связи с этим формула (9.16) может быть представлена

величин, связанных одной линейной зависимостью (напомним, что

дает возможность построить, задав определенный уровень значимости, критическую область для проверки гипотезы о соответствии эмпирического и теоретического распределений. Действительно, если величина х2 равна нулю, то это значит, что все квадраты разностей (Ft — Npi)а или (ft — pt)% равны нулю, т. е. опытные частоты, точно соответствуя теоретическим, дают полное совпадение эмпирического и теоретического распределений. В остальных случаях величина х2 отлична от нуля и становится тем больше, чем больше растут расхождения между указанными частотами и их распределениями. Когда величину, расхождения достигает определенного уровня, значение ха переходит из области принятия гипотезы # 0 в критическую область ее отвержения.

Схема проверки нулевой гипотезы Н0 с помощью критерия выглядит следующим образом

1.На основании предшествующего опыта выбирается предполагаемый закон распределения изучаемой лингвистической величины X

иопределяются параметры этого закона.

2.Полученные из эксперимента частости (частоты) группируются в интервалы (группы), при этом малочисленные частоты объ-

является такое применение критерия х', при котором ни одна из интервальных частостей (соответственно вероятностей) и частот (соответственно мате-

буют, чтобы теоретическая и эмпирическая частота интервала была не менее 10.

коррективы, связанные с завышенным значением величины х2> вычисленной

332

3.На основе выбранного закона распределения вычисляются вероятности (математические ожидания).

4.По формулам (9.15) или (9.16) вычисляется значение критерия Xs.

5. Определяется число степеней свободы v k — /, где k — число интервалов, а / — число налагаемых связей (ср. гл. 8, §3, п. 1).

6.По заданному уровню значимости и числу степеней свободы

спомощью табл. V на стр. 368 находят пороговое значение Xq; v>

отделяющее область приемлемости гипотезы Н0 от критической области ее отклонения.

7.Полученное в п. 4 значение ха сравнивается с пороговым зна-

чением Xq;v Если имеет место неравенство х8 < Xq; v> т- е- значение критерия Пирсона лежит в области приемлемости гипотезы, то гипотеза Н0 о согласованности эмпирического и теоретического распределений считается принятой, а это означает, что расхождения в этих распределениях рассматриваются как несущественные. Если же значение х8 попадает в Критическую область, т. е. х2 ^ Xq; v то нулевая гипотеза отвергается и расхождения в распределениях рассматриваются как существенные.

вероятность случайных отклонений окажется очень малой величиной. Тогда мы должны признать нашу оценку ха отклонения эмпирического распределения от теоретического закона неслучайной" (ведь случайные явления с очень малой вероятностью следует считать практически невозможными). Это указывает на неправдоподобность гипотезы # 0 о несущественности расхождений между эмпи-

§5. Распределение средних длин словоформ

вязыках мира

1.Проверка гипотезы о нормальности распределения средних длин словоформ с помощью критерия ха Пирсона. Чтобы осуществить проверку указанной гипотезы, необходимо сравнить полученные из опыта частости или частоты средних длин с их теоретическими вероятностями или математическими ожиданиями.

Вычисление этих теоретических величин может быть осуществлено двумя способами: исходя или из дифференциальной формы нормального закона (плотности вероятности), или из его интегральной формы.

333

Рассмотрим п е р в ы й с п о с о б . Областью значений непрерывной случайной лингвистической величины X является либо вся числовая ось, либо часть ее. Разобьем эту область на т интервалов, соответствующих интервалам группировки выборочных измерений

Pi. Рг> •••» Рт- Для выражения этих вероятностей используем значения плотности вероятности случайной величины. Используя рассуждения п. 3, 5 и 7 § 2 гл. 6, можно утверждать, что вероятность попадания случайной величины в интервал (а;, Pj) равна произведению длины интервала р( — щ Дд:г на значение плотности вероятности в одной из точек этого интервала. Такой точкой может

Наша случайная величина распределена по нормальному закону, поэтому

. . . 1 -(л:-ц)г/(2а»> ' w ~ аУ 2я

Отсюда следует, что

Pi—at -(*,—ц>'/<2о')

ст у2п

Поскольку значения (л, ст8, о обычно неизвестны, они заменяются величинами x, sa, s, полученными из эмпирического распределения. В результате приходим к выражению

ф(2) = - ! « - " / » , 2я

применение которой дает возможность пользоваться при вычислениях табл. II на стр. 364.

Поскольку Axt = Р< — oil, перепишем (9.18) в виде

S <Р(2|).

Теперь определим, чему равно математическое ожидание частоты М (nt) = n't появления величины X в i-м интервале.

Выбирая из непрерывной генеральной совокупности N наблюдений, мы формируем ситуацию, аналогичную той, при которой

984

признак в генеральной совокупности принимает конечное число значений и при которой имеют место т событий Аъ At, ,.., Ат, образующих полную систему. Отсюда следует, что теоретическая частота (математическое ожидание) того, что при N испытаниях непрерывная случайная величина X находится в t-м интервале, исходя из (9.18), определяется равенством

(9Л9)

s У 2 я

где = n'i/N. Используя вспомогательную функцию ф (г), перепишем выражение (9.19) в виде

(см. гл. 6, § 2, п. 3), вероятность попадания случайной величины, подчиненной нормальному закону, на заданный интервал можно

Заменяя неизвестные р. и ст на опытные значения х и s (или s\ приходим к соотношению

(9.21)

Соответственно теоретическая частота того, что при N испытаниях случайная величина X попадет в i-й интервал, равна

Применим описанную процедуру к проверке гипотезы о нормальности распределения средних длин словоупотреблений в языках мира (ср. гл. 7, § 4, п. 4). Эта проверка осуществляется по следующей схеме.

1) Значения средних длин словоупотреблений для 100 языков мира, использующих буквенную письменность (см. табл. 7.27 на стр. 259), сгруппированы в интервалы [столбец (1) табл. 9.12], каждый из которых имеет длину Ах = 0,6. Значения середин интервалов (Xi) указаны в столбце (2). Для каждого интервала указано число языков (rii), средние длины словоупотреблений которых попадают в данный интервал [столбец (3)1.

2) Среднюю арифметическую х и опытную дисперсию будем вычислять по методу моментов (см. гл. 7, § 3, п. 3), принимая за произвольное число а середину шестого интервала (а = 5,70).

135

337

В столбцах (4) — (6) можно брать также разность эмпирической частоты nt и округленной до целых чисел теоретической частоты n't [см. столбец (8)1.

5) Частоты всякого нормального распределения, устанавливаемого на основании наблюдаемого распределения, подчинены трем

связям (I = 3). Во-первых, сумма наблюдаемых частот фиксиро- k

вана, т. е. 2 nt = N\ во-вторых, теоретические частоты должны

давать среднюю х, равную средней эмпирических частот; в-треть- их, дисперсии теоретического и эмпирического распределений должны быть также равны.

•i = 1

/= 3. Отсюда число степеней свободы составляет v = k — / =»

=6 — 3 = 3.

6)С помощью табл. V выясняем, что пороговое значение нашего

критерия Хо,о5;з = 7,82 заметно больше только что полученной величины х2. Это значит, что последняя лежит в области приемлемости нулевой гипотезы.

Проведем проверку нулевой гипотезы, исходя из интегральной формы нормального закона. Первые два раздела этой процедуры совпадают с первыми пунктами предыдущей проверки, поэтому переходим сразу к п. 3.

3)С помощью выражения (9.22) вычисляем значения п\. Ход

расчета показан в столбцах (1) — (11) табл. 9.14; при этом следует помнить, что Л: = 5,46, AS = 1,11.

4)Сравнение эмпирических и теоретических частот по критерию х2 показано в столбцах (12) — (14) той же таблицы.

5)Как уже было показано, v = 3.

6)Пороговое значение х2 при v = 3 и q = 0,05 составляет 7,82.

Так как полученная нами величина ха = 3,66 меньше этого порога, то она снова находится в области приемлемости гипотезы Нп.

Оценку нашей гипотезы можно было бы провести, как уже го-

ние х2 при трех степенях свободы лежит в интервале между 3 и 4. При этом значение х2 — 3 соответствует вероятности 0,3916, а значение х2 = 4 — вероятности 0,2615.

338