Пиотровский

дов используются следующие четыре эмпирических момента, аналогичные тем четырем моментам, которые характеризовали теоретические распределения (см. гл. 6, § 2, п. 8):

Пользуясь численными значениями отдельных моментов, а также сравнивая эти значения между собой, можно выдвигать гипотезы о соответствии данного вариационного ряда тому или иному распре-

тий эмпирический нормированный момент г, вариационного ряда не сильно отличается от нуля, что указывает на симметрию ряда, а значение четвертого нормированного момента ri близко к трем, что свидетельствует о средней крутости ряда, то можно выдвинуть гипотезу о нормальности рассматриваемого нами распределения (о методах проверки этой гипотезы см. в гл. 9).

ционного ряда должно быть сразу же отвергнуто. Такие оценки широко использовались, например, при определении нормальности эмпирических распределений слов и суффиксов в различных подъязыках и стилях современного латышского языка (31, с. 12—13). Следует иметь в виду, что здесь не указываются те границы, которых

260

могут достигать отклонения эмпирических моментов от их теоретических аналогов, т. е. границы, в рамках которых лингвистический вариационный ряд сохраняет свою принадлежность к нормальному распределению.

Эти границы могут быть определены исходя из следующих соображений. Будем рассматривать значение третьего нормированного момента г8 как показатель суммарного смещения кривой эмпирического распределения наблюдаемых погрешностей от центра кривой нормального распределения. Это смещение можно оценить с помощью среднего квадратического отклонения

Мерой согласованности эмпирического распределения с нормаль-

Если a < 3, то смещение эмпирической кривой относительно центра нормального распределения можно считать несущественным.

Для оценки расхождения эмпирического распределения и теоретического нормального распределения используется среднее квадратическое отклонение

причем при больших N соотношение (7.57) заменяется приближенным равенством

Соответственно мерой согласованности эмпирического и теоретического нормального распределений служит отношение эксцесса к среднему квадратическому а(Е):

Если Р < 3 , то отличие вариационного ряда от нормального распределения несущественно.

Итак, если для рассматриваемого лингвистического вариационного ряда a < 3 и р <С 3, то можно предполагать, что этот ряд имеет нормальное распределение. Подробнее о применении этой процедуры см. ниже.

Значения опытных моментов могут быть использованы также для сравнения вариационного ряда и теоретического распределения Пуассона. Поскольку для распределения Пуассона имеет место равенство теоретических моментов vx = р,2 = [х3 = А, (см. гл. 6,

261

§ 3, п. 2), то лингвистический вариационный ряд, в котором значения эмпирических моментов п и т а и т 3 мало отличаются друг от друга по величине, может быть гипотетически отнесен к распределению Пуассона.

В работе Т. А. Якубайтис [31, с. 7—46, 69—66] вычислены эмпирические моменты nlt т2, т3 для распределения 120 слов, 6 суффиксов и класса частиц в различных подъязыках и функциональных стилях латышского языка. Обнаружилось, что по мере уменьшения частоты слов численные значения эмпирических моментов nlt т2, та

ля. В связи с этим возникает вопрос: можно ли считать среднюю длину словоупотребления типологической характеристикой конкретного языка [8]; [51, с. 178—181]? Статистический анализ распределения средних длин словоупотреблений в языках мира помогает решению этого вопроса. Действительно, если вариационный ряд средних длин хорошо аппроксимируется нормальной кривой, то можно предполагать, что средние длины словоупотреблений разных языков равномерно группируются вокруг некоторой средней, задаваемой возможностями оперативной памяти человека. Отклонения от этой средней в каждом конкретном языке следует рассматривать как результат случайных воздействий, по всей вероятности, не связанных с типологией языка.

Заметное отклонение вариационного ряда от нормальной криЕСЙ можно рассматривать как указание на то, что распределение средних длин словоформ определяется не только случайными, но и детерминированными процессами. В этом случае естественно предположить, что расхождения в средних длинах словоупотреблений связаны с типологическими особенностями конкретных языков.

Чтобы решить, какое из этих двух предположений считать более правдоподобным, обратимся к статистическому анализу распределения средних длин словоупотреблений для ста языков мира, применяющих буквенную графику*. Для этого используем приведенные выше табл. 7.27 и 7.28.

Статистический анализ ряда, проведенный строго по схеме, которая была изложена в п. 1—3, показан в табл. 7.30. Начнем с того, что определим центральное значение xt каждого интервала [столбец (2)]. Затем вычислим начальные моменты относительно а, в качестве которого возьмем среднее значение центрального интервала (а =» = 5,70). Используя общий для разностей xt — а множитель I — 0,6

* Расчет произведен по разговорно-беллетристическим текстам этих языков, а также по отрывкам, приведенным в книге [12]. Если учитывать научнотехническую и публицистическую прозу, то значения средних длин будут несколько выше.

262

63

[столбцы (4) и (5)1, определим сначала рабочие начальные моменты. Для этого, разделив каждую из сумм столбцов (6) —(9) на N = 100, получим:

п'0 = \, п[ = — 0,4, П2 = 3,56, п'г = 0,2, n't = 37,16.

Для проверки правильности вычислений определим четвертый момент для условных вариант —j— + 1 с помощью равенства (7.40):

« Г = 1 + 4-(—0,4) + 6-3,56 + 4-0,2 + 37,16=58 72.

Этот результат совпадает со значением nj*, полученным путем непосредственного вычисления по формуле (7.36) [ход расчетов показан в столбцах (10)—(12) табл. 7.30]. Таким образом, расчет рабочих начальных моментов получен правильно.

Теперь можно перейти к вычислению начальных моментов относительно а = 5,7. Для этого каждое из значений nk нужно умножить на 1Н — 0,6й. Тогда получим:

п0 = 1.0,6° = 1 ; пх = —0,4-0,б1 = —0,24; ла = 3,56-0,б2 = = 1,2816; л3 = 0,2-0,б3 = 0,0432; /г4 = 37,16-0,б1 = 4,8159.

Средняя арифметическая ряда (т. е. средняя длина словоупотребления) в языках мира равна

х = пг (а) + а = —0,24 + 5,7 = 5,46.

Затем, используя начальные моменты относительно а и формулы (7.32)—(7.36), вычислим центральные моменты:

т 0 = 1;

т1 = 0;

ma = s2 = 1,2816 — (—0,24)2 = 1,2816 — 0,0576 = 1,224;

т 3 = 0,0432 — 3-1,2816-(—0,24) + 2(—0,24)3 = 0,0432 + 0,9228—

— 0,0276 = 0,9384;

т 4 = 4,8159 — 4-0,0432-( — 0,24) + 6-1,2816-( —0,24)а —

— 3 - (-0,24)4 = 4,8159 + 0,0415+0,4429 — 0,0100 = 5,2903.

Центральные моменты можно получить и с помощью формул (7.47)—(7.49). Для этого каждую сумму из столбцов (16)—(18) разделим на N = 100. Нетрудно заметить, что полученные результаты совпадают до третьего знака после запятой со значениями центральных моментов, полученных по упрощенной процедуре. Таким образом, расчет центральных моментов произведен правильно.

264

ГЛАВА а

СТАТИСТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА И ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ НОРМЫ ЯЗЫКА

Переход от статистической модели выборки текста к вероятностным характеристикам нормы языка связан с решением трех задач.

Во-первых, по характеристикам 0* вариационного ряда необходимо численно оценить скрытые от прямого наблюдения параметры 0 соответствующего распределения генеральной совокупности, т. е. параметры, выступающие в качестве вероятностных характеристик нормы языка и его разновидностей.

Во-вторых, по данным вариационного ряда следует оценить характер генерального распределения.

В-третьих, имея в своем распоряжении численные оценки параметров генерального распределения, а также зная характер этого распределения, необходимо решить важнейшую технологическую задачу лингвистического исследования, состоящую в определении того, какой объем обследуемого текста даст достаточно надежные лингвистические результаты.

§ 1. Точечная оценка параметров генеральной лингвистической совокупности

1. Понятие точечной оценки. Каждый параметр 0* вариационного ряда, вычисленный на основе ограниченного числа опытов, всегда содержит элемент случайности. Поэтому его значение нельзя отождествлять со значением параметра 0, характеризующего распределение исследуемого лингвистического явления в генеральной совокупности. Величину 0* следует рассматривать лишь как точечную оценку значения 0.

Что же представляет собой эта оценка 0* с вероятностно-статис- тической точки зрения? Чтобы ответить на этот вопрос, проведем следующий мысленный эксперимент.

Предположим, что из генеральной совокупности текстов извлекаются 1-я, 2-я, ..., N-я выборки одного и того же объекта, в каждой из которых наблюдаемая случайная величина X с параметром 0* принимает значения хи х2, ..., xN. Все эти значения имеют одинаковые распределения, идентичные распределению величины X. Каж-

ляется случайной величиной (ведь каждая новая i-я выборка дает новое значение 0* нашей оценки).

Так как точечная оценка 0* является случайной величиной, то она может давать разные отклонения от значения 0, и следовательно, давать разную по своей «доброкачественности» оценку параметра 0. Наша задача состоит в том, чтобы найти критерии, позволяющие выбирать из параметров 0«, 0jj, ..., 0£ исследованной частной вы-

266

борки такую величину 9J, которая давала бы наименьшее отклонение от значения 0 и выступала бы поэтому в качестве наилучшей оценки.

Действительно, мы пока не знаем, что является наилучшей оценкой математического ожидания М (X) — ц в генеральной совокупности: средняя арифметическая х, медиана Me или модаМо. Аналогичным образом мы не можем пока сказать, что является лучшей оценкой дисперсии D (Х) = а2: выборочная дисперсия s2, размах R или среднее абсолютное отклонение \xt — х\.

Чтобы получить критерии выбора наилучших оценок параметров распределений в генеральных совокупностях, необходимо, во-пер- вых, определить те требования к оценкам 0*, которые давали бы хорошее приближение этих оценок к параметру 0, во-вторых, определить методы нахождения оценок; в-третьих, выяснить возможности использования этих оценок для получения надежных выводов относительно значений параметров генеральной лингвистической совокупности. Хорошее приближение характеристики 0* к теоретическому параметру 0 должно отвечать требованию с о с т о я т е л ь - н о с т и , сущность которого заключается в следующем. Идеальной оценкой для параметра 0 была бы такая величина 0*, которая в каждом своем выборочном значении Эt, Oj, ..., 0w в точности совпала бы с искомым параметром 0. Разумеется, что на практике такое положение недостижимо. К идеальному положению, при котором

В этом случае согласно закону больших чисел имела бы место

тической совокупности отвечает требованию состоятельности, когда она подчиняется закону больших чисел.

Нетрудно заметить, что требование состоятельности имеет два практических недостатка. Во-первых, оно не всегда обнаруживается в условиях малых выборок, с которыми имеет дело языковед; вовторых, при одной и той же функции распределения генеральной совокупности для данного параметра 8 можно найти бесконечное множество состоятельных оценок, сходящихся по вероятности к 0. Поэтому требование состоятельности дополняется еще двумя требо-

267

Иными словами, несмещенность оценки означает равенство по абсолютной величине взвешенных сумм отклонений значений 0J, 02, • ••> 0,v от центра, в качестве которого выступает параметре. Вместе с тем она показывает на отсутствие систематической ошибки, постоянно смещающей указанные значения в одну сторону от этого центра.

2. Несмещенные и эффективные точечные оценки математического ожидания и дисперсии. В работах по математической статистике [10, с. 314—317] доказывается, что средняя арифметическая х выборочной совокупности является несмещенной оценкой математического ожидания случайной величины генеральной совокупности, т. е.

М (х) = М (X),

и что относительная частота f есть несмещенная оценка вероятности р. Одновременно выясняется, что в малых выборках (N ^ 50) опытная дисперсия D x ^ s * не может служить несмещенной оценкой теоретической дисперсии D (X) = а2. Несмещенной оценкой теоретической дисперсии является величина

Возможные значения 0 могут не давать смещения, однако одновременно могут быть сильно рассеяны вокруг М (0*), что заметно ухудшает оценку параметра 0. Поскольку наилучшей мерой среди рассматриваемых в этой книге мер рассеяния является дисперсия, целесообразно оценивать эффективность оценки 0/ параметра 0 с помощью величины

D (0;) = а2(0Г).

Таким образом, если имеется несколько состоятельных несмещенных оценок параметра 0, то наиболее эффективной служит та, которая имеет наименьшую дисперсию и наиболее тесную концент-

ожидания употребления служебных слов, дающих обычно нормальное распределение в тексте. Этими оценками являются средняя

268

Так как концентрация значений 0а вокруг М (в*) в полтора с лишним раза выше, чем концентрация значений 6g, то средняяарифметическая является более эффективной оценкой математического ожидания, чем медиана.

§ 2. Оценка математического ожидания с помощью доверительного интервала и статистическая параметризация

стилей

1. Доверительный интервал. Отвечая требованиям состоятельности, несмещенности и эффективности, точечная оценка 0* имеет один серьезный недостаток: она не дает сведений о точности и надежности приближения к параметру 0 генеральной лингвистической совокупности. Этот недостаток особенно ощутим тогда, когда число наблюдений мало. Чтобы устранить этот недостаток, вводится иной вид оценки — доверительный интервал.

Для определения доверительного интервала необходимо найти

уже интервал, т. е. чем меньше разность 0в — 0н, и следовательно, чем меньше е, тем точнее оценка параметра 0.

Во-вторых, следует учитывать с какой вероятностью интервал (0н, 0в) покрывает параметр 0. Ведь нижняя (0н) и верхняя (0J) границы интервала суть случайные величины, зависящие от опыта: при многократном повторении опыта величина и положение интервала (03, 0в) относительно 0 будут меняться. Однако доверительный интервал должен быть построен так, чтобы доверительная вероятность (надежность) *> захвата им параметра 0 была бы достаточно велика, а вероятность ч, представляющая собой дополнение до единицы и указывающая на то, что 0 не будет покрыт интервалом (8Ц, 0в), была бы соответственно мала (мы будем впредь называть q уровнем значимости). Чем ближе вероятность р к единице, а вероятность <? к нулю, тем меньше риск ошибиться в оценке параметра 0.

2. Определение доверительного интервала для математического ожидания нормально распределенной случайной величины при известном а. Пусть случайная величина X имеет нормальное распреде- ление в интересующей нас генеральной лингвистической совокупности, причем нам известно значение а, но неизвестен параметр

М(X) = р.

Для оценки р естественно использовать среднюю арифметическую х, которая на основании центральной предельной теоремы (см. гл. 6,

269