Пиотровский

которое при неограниченном увеличении п превращается в равенство

Этот частный случай теоремы Чебышева известен под названием

Представим относительную частоту FIN в качестве случайной величины, математическим ожиданием которой служит вероятность р, а дисперсией—величина pqIN. Подставляя эти значения в неравенство Чебышева (6.112), после преобразований получаем

(6.113)

Поскольку р, q, е — заданные положительные числа и при N оо дробь pql(N&2) стремится к нулю, то приходим к соотношению (6.111). Пользуясь теоремой Бернулли, можно определять объемы выборок, необходимые для решения конкретных лингвистических задач.

Например, установлено [6, с. 238], что вероятность появления существительного в румынских текстах по радиоэлектронике равна 0,34, а допустимое абсолютное отклонение относительной частоты / от вероятности р равно 0,03. Определим тот наименьший объем исследуемого текста (наименьшую выборку), ири котором заданные условия выполнялись бы с вероятностью 0,9545.

210

Таким образом, текст, необходимый для выполнения поставленных в задаче условий, должен содержать не менее 5473 словоупотреблений.

3. Теорема Бернулли характеризует соотношение между относительной частотой и постоянной вероятностью события. Однако часто мы имеем дело с такими лингвистическими явлениями, например со знаменательными словоформами и словосочетаниями, которые почти не повторяются в одних и тех же фиксированных условиях. Они многократно встречаются в тексте, но каждый раз в новых условиях разного лексического окружения, принципиально различных синтаксических позиций, причем вероятность интересующих нас лингвистических событий сильно зависит от этих меняющихся условий. Иными словами, мы имеем здесь дело с разными вероятностями ри рг, ..., pN события А. Этот случай характеризует теоре-

ма Пуассона.

Если вероятность события А при каждом независимом испытании меняется, то при достаточно большом числе испытаний (т. е. при N -*• оо) с вероятностью, сколь угодно близкой к единице, можно утверждать, что относительная частота появления события А сколь угодно мало отличается от средней арифметической вероят-

особенно при статистическом описании текста) мы имеем дело с зависимыми или слабозависимыми величинами. В связи с этим возникает необходимость распространить закон больших чисел на зависимые величины. Эта задача решается с помощью теоремы Маркова:

если последовательность случайных зависимых или независимых величин, Хи Xit ..., Хп такова, что при п-*- оо

211

На основании теоремы Бернулли или теоремы Пуассона иногда делается вывод, что с ростом числа испытаний частость неуклонно стремится к вероятности, т. е. что

Такой вывод является совершенно необоснованным. Дело в том, что сходимость относительной частоты FIN к вероятности (ее обозначают термином «сходимость по вероятности») понимается здесь ина-

вкладывает в это равенство математический анализ, то это означает, что, начиная с некоторого N = п и для всех последующих значений, выполняется неравенство

Когда же утверждается, что частость F/N сходится по вероятности (или стремится по вероятности) к р при N -*• оо, что записывается обычно так:

то для отдельных значений N неравенство (6.117) может и не выполняться. Дело в том, что в теореме Бернулли речь идет о вероятности

F

одного единственного неравенства | — р | ^ е, которая при доста-

точно большом N становится больше, чем разность 1 — , или,

иными словами, что при достаточно большом количестве испытаний частость будет как угодно мало отличаться от постоянной вероятности р.

Из сказанного видно, что теорема Чебышева, а также остальные ее частные случаи справедливы только для фиксированного значения

справедливо не только для N0, но и для всех значений N > N0. Однако для приложений теории вероятностей, и в частности для линг- во-статистики, важно, чтобы теоремы закона больших чисел распространялись и на случаи N > N0. Так, например, для лингво-ста- тистики важно найти такие условия, накладываемые на неравенство (6.118), чтобы соотношение (6.116) было бы справедливо не только

212

|i = М (X,).

Квантитативные исследования текста показывают, что численное значение, которое принимает та или иная случайная лингвистическая величина (частота или частость появления определенной фонемы, буквы, слога, словоформы, морфемы и т. д.), зависит от многих случайных причин, учесть которые мы не в состоянии. Если увеличить число случайных величин, то увеличится и число неучитываемых причин. Таким образом, становится, казалось бы, невозможным установить закономерности поведения суммы достаточно большого числа случайных лингвистических величин. Однако в действительности это не так: если. индивидуальные величины содержат в себе более или менее значительный элемент случайности, то в их средней этот элемент взаимно погашается и становится исчезающе малым, если Только количество усредняемых величин достаточно велико.

В итоге при некоторых сравнительно широких условиях суммарное поведение большого числа случайных лингвистических величин начинает утрачивать случайный характер и становится статистически устойчивым или, как говорят, почти закономерным. Статистическая закономерность начинает принимать здесь характер динамического закона.

Устойчивость средней арифметической, дающей при большом количестве испытаний сходимость по вероятности к математическому ожиданию, объясняет, почему и когда мы имеем право взять за истинное значение М (X) значение средней арифметической. Вместе с тем становится ясным, почему при достаточном количестве испытаний можно с достаточной достоверностью использовать относительную частоту для оценки вероятности лингво-статистическогв события.

Одновременно закон больших чисел предостерегает лингвистов, пользующихся «симптоматической» статистикой, против неосмотрительного приравнивания частот и математических ожиданий лингвистических случайных величин, а также отождествления частостей и вероятностей независимо от того, имеются ли для эт;ого условия, предусмотренные указанным законом.

213

На описанных свойствах средней арифметической и частости ос-

Сходимость средних арифметических частот, полученных по частичным выборкам, к математическим ожиданиям слов (или словосочетаниям) при достаточном числе выборок позволяет рассматривать частотные словари в качестве моделей вероятностного распределения слов и словосочетаний в норме данного подъязыка или стиля.

4. Центральная предельная теорема Ляпунова и сопоставление результатов лингвистического эксперимента с вероятностной речевой. моделью. Теоремы, образующие первую часть закона больших чисел, давая полную степень практической уверенности о сходимости по вероятности определенных случайных величин к тем или иным постоянным, слишком завышают вероятность выполнения неравенства \Х — М (Х)| > е. Одновременно занижается вероят» ность того, что отклонение случайной величины от ее математического ожидания будет не больше заданного порога е. В связи с этим использование первой части закона больших чисел для нахождения таких характеристик, как точность, надежность оценки, доверительный интервал и т. д., связано с обследованием слишком больших текстовых выборок, объемы которых превосходят реальные возможности лингво-статистического исследования.

Поэтому возникает необходимость в такой, процедуре, которая

Центральная предельная теорема исходит из той же идеи, которая используется и при построении первой половины закона больших чисел. Эта идея заключается в том, что хотя исследуемое явление или процесс (в том числе и лингвистический) в ходе своей реализации подвергается действию большого числа независимых случайных воздействий, каждое из них лишь ничтожно мало изменяет ход процесса. Исследователь, интересующийся изучением процесса или явления в целом, а не воздействием отдельных факторов, должен наблюдать и фиксировать суммарное действие этих факторов.

В отличие от теоремы Чебышева, для которой характер распределения случайных величин Хъ XN, ИХ сумм и средних X — = (Xj + Х2 + ... + XN)/N не имеет значения, теорема Ляпунова утверждает, что каково бы ни было распределение независимых случайных величин, при определенных условиях распределение их средних подчиняется нормальному закону. Такой подход позволяет распространить на случаи, рассматриваемые в законе больших чисел, теорему Муавра—Лапласа, дающую возможность оценивать математические ожидания и вероятности появления отдельных зна-

214

чений случайной величины и таким образом бодеа или менее точно

Для того чтобы утверждение о нормальном распределении для средних имело место, достаточно, как показал А. М. Ляпунов, выполнение двух условий: во-первых, все случайные слагаемые должны иметь конечные абсолютные центральные моменты третьего порядка

должно стремиться к нулю при N -*- оо .

Смысл условий Ляпунова заключается в том, что ни одна из случайных величин, образующих среднюю, не была бы в ней преобладающей, во всяком случае, не была бы заметно больше других величин. Если же какая-либо величина или величины XJt Xh оказывают преобладающее влияние на формирование X, то второе условие не выполняется и утверждение о нормальном законе распределения средней не имеет места. Распределение средней здесь определяется законом распределения этих преобладающих случайных величин.

Лингвистическим примером этого явления может служить ста- • тистическое поведение так называемых ключевых (или доминантных) слов и словосочетаний текста, т. е. таких слов, которые передают основные понятия, рассматривающиеся в данном сообщении (в научно-технических текстах в качестве доминантных слов и словосочетаний выступают термины). Преобладающим фактором, влияющим на статистику доминантных единиц текста, является ситуация, отражаемая в содержании текста. Лингвистические, индивидуально стилевые и прочие факторы подавляются ситуацией. Так как появление тех'или иных ситуаций не подчиняется нормальному закону*, то этому закону не подчиняются и распределения доминантных слов. Напротив, служебные слова, многие грамматические формы, фонемы и буквы, поведение которых определяется суммой большого числа случайных воздействий без преобладания в них семантики текста, дают, как правило, распределение, близкое к нормальному. Выделение в тексте слов, распределение которых не подчиняется нормальному закону, а также другим связанным с нормальным распределе-

* Во всяком случае, в рамках тех, ограниченных «выборок ситуаций», которые представлены в текстах, написанных на естественном язык^

215

нием законам, лежит в основе эффекта статистического опознания терминологических единиц [32а, с.111]; см. также гл. 9, § 6, п.2.

После этих предварительных разъяснений перейдем к изложению центральной предельной теоремы Ляпунова и связанного с ней ма-

спараметрами

М (X*) = ц = М (Хх) + М (Х2) + ... + М (Х„)

D (X*) = а2 = D (Xj) + ... + D (Х„).

Отсюда вероятность того, что случайная величина X* примет какое-либо значение в промежутке {хъ хг), согласно формуле (6.98) составляет

Нетрудно догадаться, что теорема Ляпунова имеет место и тогда, когда случайная величина является суммой достаточно большого числа одинаково распределенных независимых случайных величин, имеющих абсолютные центральные моменты третьего порядка. При доказательстве этого утверждения следует учитывать тот факт, что моменты всех порядков этих случайных величин — в том числе центральные моменты второго и третьего порядков — совпадают.

216

VN )

которое можно переписать в виде

Примерами таких случайных величин могут являться случайные лингвистические величины, распределенные по простой схеме повторений испытаний. Следовательно, здесь в качестве усредненной случайной величины можно рассматривать относительную частоту FIN = f , математическое ожидание которой есть вероятность р. При этом нормированное отклонение примет вид

(ср. с §3, п.4).

Если N достаточно велико, то, учитывая (6.124), можно пере-

При решении лингвистических задач, оперирующих нормально распределенными случайными величинами X, X или X*, целесообразно задать такой интервал рассеяния случайной величины вокруг ее математического ожидания (соответственно частостей вокруг вероятности), в который попадало бы большинство значений

217

ПЕРВИЧНАЯ СТАТИСТИЧЕСКАЯ ОБРАБОТКА ТЕКСТА

§ 1. Статистическая совокупность лингвистических объектов и ее организация

Исследование текста с помощью описанных выше вероятностных моделей может быть осуществлено при том условии, что произведена первичная статистическая обработка текста и к ее результатам применены специальные критерии перехода к вероятностной модели.

Прежде всего познакомимся с приемами первичной статистической обработки текстов.

1. Статистическая совокупность лингвистических объектов. Всякое статистическое исследование предусматривает наблюдение над множеством объектов. Эти объекты характеризуются многими признаками, каждый из которых варьируется при переходе от одного объекта к другому. Все признаки одновременно рассмотреть невозможно, поэтому языковед должен сосредоточить свое внимание на одном определенном признаке, предполагая, что в отношении остальных признаков объекты данного лингвистического множества равноправны. Используя такое допущение, мы можем считать, что рассматриваемое множество однородно. Построенное указанным

и качественными свойствами. Количественные свойства (например, длина словоформы в буквах или фонемах, слогах, морфемах, либо количество словоупотреблений в предложении и т. п.) постоянно используются в качестве тех признаков, по которым лингвистические объекты выступают в качестве единиц статистической совокупности.

Однако статистика текста оперирует не только количественными, но и качественными признаками. Например, в ходе статистикоморфологического исследования словоупотребления текста группируются по признаку их принадлежности к той или иной части речи. При статистако-синтаксическом исследовании таким качественным признаком является функционирование каждого словоупотребления в роли определенного члена предложения.

Часто бывает удобно использовать лишь два качественных признака, точнее признак А и его отсутствие — не А (Л). В этом случае говорят об альтернативном качественном признаке. В только что рассмотренном примере в качестве альтернативного признака можно рассматривать отнесение данного словоупотребления к существительным или не-существительным (соответственно к глаголу или не-глаголу, подлежащему или не-подлежащему и т. п.).

Отдельные лингвистические статистические совокупности могут образовывать вместе более крупную совокупность — совокупность совокупностей. Одновременно каждая совокупность может состоять

219