Пиотровский

§ 4, п. 4) распределена нормально с параметрами М (х) = р,, а (х)=

=afVU.

Для того чтобы определить доверительный интервал неизвестного нам параметра р. = 0 по оценке х = 0*, потребуем выполнения

где е — допустимая погрешность, выступающая в качестве величины, обратной степени точности, а р, как уже говорилось, надежность, которая должна быть близка к единице.

Так как по предположению случайная величина X распределена нормально, то, на основании соотношения (6.125) выражение (8.3) можно переписать в виде

верхней границей доверительного интервала (ц,*, Цв). Этот интервал с надежностью Р и погрешностью e=ZpO/yN покрывает математическое ожидание р, = М (X) нормально распределенной случайной лингвистической величины X в генеральной совокупности.

Расчет доверительного интервала производится следующим образом. Задавая определенную доверительную вероятность Р, мы

спомощью табл. III (см. стр. 365) определяем значение Zp, т. е. Zp =

=х. Подставив это значение в равенства (8.6) и (8.7), легко вычисляем значения верхней и нижней границ доверительного интервала.

270

становится меньшим). Если сохранять постоянным значение надежности Р и увеличивать объемы выборки N, то можно увеличить точность, и наоборот, при постоянном 1> с уменьшением N точность уменьшить. Наконец, одновременного увеличения надежности и точности можно достичь только путем увеличения объема выборки Л/. Все эти соображения будут иметь принципиальное значение при определении необходимых объемов лингвистических выборок.

3. Определение доверительного интервала для М (X) с помощью распределения Стьюдента. В лингвистической практике редко встречаются ситуации, при которых известно численное значение среднего квадратического отклонения в генеральном распределении. Чаще всего и математическое ожидание, и дисперсия, и среднее квадратическое отклонение остаются неизвестными. Поэтому необходимы такие процедуры поиска интервальных оценок параметров теоретического распределения, которые опирались бы только на значения средней х, опытной дисперсии s2 и стандарта s (соответственно s2, s), получаемых из частных выборок, взятых из генеральной лингвистической совокупности.

В гл. 6 (см. § 3, п. 4 и § 4, п. 4) было показано, что в тех случаях, когда величина X распределена нормально с математическим ожиданием М ( X ) = fi и средним квадратическим отклонением а (х) = = о [VN, величина

дает нормированное нормальное распределение со средней, равной нулю, и дисперсией, равной единице.

271

Однако при определении доверительного интервала распределением Z воспользоваться нельзя, поскольку величина а неизвестна. Заменим а стандартом

I (xt-x)а

/

и перепишем (8.8) в виде -

s

В работах по математической статистике [63, с. 198] доказывается, что плотность вероятности распределения значений t задается выражением

Г( Т ) У ! Г П

где v — N — 1, —оо < t < оо, а Г — так называемая гамма-функ- ции [9, с. 161 и сл.1. Из (8.10) видно, что распределение величины t не зависит от неизвестных параметров М (X) = ц и D (X) = а2 , а зависит лишь от величины v, называемой числом степеней свободы (см. ниже §3, п.1), которая представляет собой численность N — 1 независимых значений случайной величины X в выборке из N испытаний.

Интегрируя (8.10) в пределах от —оо до t^, можно найти вероят-

и стандарте мало чем отличаются от теоретических параметров а2 и а, то при больших v = N — 1 величина t, приближаясь к Z, получает нормальное распределение. Однако когда v = N — 1 мало, то t, сильно отличаясь от Z, не подчиняется нормальному распределению. Эти особенности /-распределения показаны на рис. 57. Сохраняя колоколообразную и симметричную относительно начала координат форму, кривая распределения Стьюдента при малых значениях N и v гораздо медленнее сближается с осью абсцисс, чем кривая нормаль-

272

ного распределения. Поэтому вероятность значений t, попадающих в критическую область или, иными словами, превышающих по абсолютной величине заданный предел tp, гораздо больше, чем вероятность значений Z, превышающих установленный предел Zp = = tp (рис. 57). Однако при N -*• оо кривая f (t) совпадает с кривой нормального распределения.

Учитывая равенство (8.11) и симметрию кривой /v (0» можно легко прийти к вероятности того, что величина t будет находиться в заданных пределах (—tp, tp). Эта доверительная вероятность (надежность) равна

При решении лингвистических задач о помощью распределения Стьюдента доверительные вероятности р определяются по табл. IV (см. стр. 366,367), строки которой дают заданные значения t, а столб- цы—заданные величины v=N — 1 . На пересечении строк и столбцов находятся соответствующие значения доверительной вероятности.

Распределение Стьюдента легко может быть использовано для интервальной оценки математического ожидания М (X) = ц лингвистической случайной величины, относительно которой наперед известно, что она распределена нормально, но параметры которой D (X) = а2 и а остаются неизвестными.

Действительно, подставляя значение t в неравенство—tv <.t<.tp, вероятность i.oroporo задана наперед, имеем

273

о

Нетрудно заметить, что вероятность t>, легко получаемая из таблицы значений Р (|*| ^ tp) (см. табл. IV), является надежностью нашего утверждения о том, что t не выйдет из доверительного интервала с нижней границей

Только что полученная интервальная оценка очень похожа на оценку, приведенную в п. 2. Различие состоит в том, что вместо теоретического среднего квадратического отклонения а здесь ис-

ленному в п. 2. В тех случаях, когда N = v + 1, мало, ^-интервал заметно шире г-интервала. Разумеется, это не является недостатком (алого распределения Стьюдента. Причина кроется в малом объеме Iыборки: чем меньше объем выборки, тем меньше информации о генеральной совокупности, в том числе и о параметре М (X) = ц, содержит выборочное распределение Стьюдента. Поэтому и ширина доверительного интервала должна быть здесь больше по сравнению с тем интервалом, который получен на основании сведений о распределении самой генеральной совокупности.

4. Математическое ожидание как статистический параметр сти- ля. Одним из важных вопросов квантитативной лингвистики является выявление объективных статистических признаков для отдельных разновидностей языка (стилей, подъязыков, жанров, авторского стиля). Эта проблема исследовалась коллективом языковедов, руководимым В. И. Перебейнос [34]. В частности, была сделана попытка разграничить жанры и стили современного украинского языка с точки зрения частоты употребления в них глагольных словоформ.

Это исследование строилось следующим образом. Из современных художественных, общественно-политических и научно-техни- ческих текстов было извлечено 280 выборок по 500 словоупотребле-

274

ний в каждой (количество выборок по стилям и жанрам показано в столбце (2) табл. 8.1J. Для каждого жанра и стиля была вычислена средняя частота F_== х глагольных словоупотреблений, а также

стандарты s « s и s (х) — sfVN & s (х).

Поскольку дисперсия и среднее квадратическое генеральных текстовых совокупностей по украинским стилям остаются неизвестными, вычисление доверительного интервала, в котором находятся величины М (F), следует осуществлять с помощью распределения Стьюдента. При этом, опираясь на данные предшественников [32а, с. 43—45,104—107), можно предположить, что частоты глагольных словоупотреблений распределены нормально.

ДрамаПроза.

Поэзия

Одщглол.

проза

Научнатехн. гроза

40 so 60 70 go SO 100 f

Рис. 58. Доверительные интервалы математического ожидания

Если удовлетвориться надежностью наших утверждений, равной 95% (р = 0,95), то, согласно данным табл. 8.1, при v = 60 —

— 1 = 59 имеем tp = 2,00, a npn v = 50 — 1 = 49 получаем („=*

=2,01.

Вэтом случае величина погрешности при определении М (?) глагольных словоупотреблений в выборках из украинской драмы составляет е = 2,00-1,98 = 3,96, а границы доверительного интервала, в силу равенств (8.17) и (8.18),

^= 90,5 — 3,96 = 86,54, (х* = 90,5 + 3,96 = 94,46.

Аналогичные значения погрешности и границ доверительных интервалов относительно других жанров показаны в столбцах (6) и (7).

Если положить, что среднее квадратическое отклонение а равно полученному экспериментальным путем стандарту s, то интервал, покрывающий с надежностью Р = 0,95 величину М (F), несколько сузится [см. столбец (9)].

Как показывают данные табл. 8.1 и рис. 58, доверительные ин-

276

тервалы М (F) глагольных словоупотреблений в украинской драме и прозе частично накладываются друг на друга. Что касается других жанров и стилей, то там этих наложений нет. Отсюда можно сделать вывод, что частота глагольных словоупотреблений является тем статистическим параметром, который обособляет украинские драматические и прозаические тексты от поэтических, общественно-полити- ческих и научно-технических текстов, а также различает между собой последние два стиля (о том, насколько точны эти заключения, сделанные при условии точечной оценки среднего квадратического отклонения, будет сказано в следующем параграфе).

необходимо увеличить надежность этих выводов, приблизив их к 100%-ному утверждению, то следует произвести расчет границ доверительного интервала, опираясь на правило «трех сигм». Платой за это увеличение надежности будет заметный рост погрешности е [см. столбец (10) табл. 8.1] и расширение доверительного интервала [столбец (11)]. Это расширение приводит к тому, что правый конец доверительного интервала поэзии накладывается на левый конец интервалов драмы и прозы. Поэтому вывод о том, что частота глагольных словоупотреблений является статистическим параметром, отграничивающим украинскую драму и прозу от поэзии, оказывается необоснованным. Частоту глаголов следует теперь рассматривать в качестве параметра, различающего только научно-техническую, общественно-политическую и художественную украинскую речь.

Пользуясь только что описанной методикой, В. И. Перебейнос выделила 74 языковых признака (фонемы, аффиксы, морфологические и синтаксические классы, длина слова и предложения и т. п.), частота которых выступает в роли статистического параметра стилей, жанров и авторской манеры в украинском языке. Выясняется, что количество признаков каждого уровня языковой структуры, способных разграничивать языковые разновидности, зависит не от уровня, к которому относится данный признак, а от сопоставляемых разновидностей. Чем больше общих черт имеют сопоставляемые разновидности, тем меньше признаков их различает. Например, на буквенно-фонемном уровне наименьшее количество харак-

ществует свой уровень, лингвистические признаки которого лучше всего разграничивают сравниваемые стили и жанры. Более родственные разновидности (например драма, поэзия, проза) обнаруживают заметные расхождения на синтаксическом уровне, а менее родстенные, кроме того, и на лексическом (ср. противопоставление беллетристики, с одной стороны, и общественно-политической и научно-технической прозы — с другой).

Как показывает работа [34], статистическое моделирование стилей не только хорошо согласуется с их интуитивными описаниями, но помогает выявить недоступные для прямого лингвистического наблюдения факты.

277

§3. Доверительный интервал для дисперсии

исреднего квадратического отклонения

Впредыдущем параграфе мы пользовались точечной оценкой среднего квадратического отклонения. Однако, как уже говорилось, такая оценка не дает сведений о том, насколько близок стандарт s к самому значению о.

Втех случаях, когда в генеральной лингвистической совокупностй имеет место нормальное распределение величины X и извест-

на выборочная дисперсия s, этого недостатка можно избежать, используя для оценок D(X) = а2 и а доверительный интервал,

каждая из которых распределена нормально и обладает парамет-

рами М (Z) = 0 и cr(Z) = 1. Сумму квадратов этих величин обозначим через х2;

определения величины v, называемой числом степеней свободы. Число степеней свободы определяет то количество сведений, которое остается свободным после использования всей совокупности сведений для определения некоторой статистической характеристики. Поясним это важное для лингво-статистики понятие на следующем примере.

Будем рассматривать русские прозаические тексты в качестве генеральной совокупности, из которой последовательно выбираются отрывки по 10 тыс. словоупотреблений. В каждом отрывке отмечается количество употреблений слова море (частота употреб-

278

лений этого слова является случайной величиной X, принимающей значения хъ хг, ..., хы). Пусть в результате этих наблюдений получены следующие сведения:

Фиксирование числа выборок и суммирование частот появления в них слова море накладывает на нашу совокупность сведений, содержащуюся в таблице, одну линейную связь. Действительно,

N

зная сумму частот 2 xt слова море, а также частоты этого слова

в каждом из N — 1 отрывков, мы всегда можем вычислить частоту контрольного слова в А/-й выборке:

Таким образом, значения частот слова море могут варьироваться в каждом из N — 1 отрывков, но эти изменения каждый раз будут предопределять частоту в N-й выборке, если общая сумма частот уже известна. Иными словами, после определения величин N =

при суммировании наблюдаемых частот, о которой мы только что говорили, а во-вторых, связь, образующаяся при определении теоретических параметров (р — для биномиального распределения и X — для распределения Пуассона). Таким образом, число степеней свободы здесь равно v = N — 2.

279