Пиотровский

Таким образом, искомая вероятность представляет собой сумму всех возможных произведений, в каждом из которых р с разными индексами содержится х раз, a q с разными индексами входит N—х раз.

Чтобы составить все возможные произведения из х вероятностей pi и N — х вероятностей qt (i = 1, 2, ..., N), образуем произведения биномов

Раскрывая скобки в левой части равенства и приводя подобные члены, получим все вероятности PN (0), PN (1), PN (2), ..., PN (N), которые выступают в качестве коэффициентов соответственно при t°, t1, fi, ...,(N. Сумма всех вероятностей Pn (х) равна единице:

откуда следует формула Бернулли.

Используя только что описанную математическую модель, решим следующую задачу.

Пусть производится повторная выборка именных групп из следующих четырех жанрово-тематических совокупностей русских текстов (подъязыков): записей непринужденной разговорной речи, поэзии, художественной прозы, научно-технических текстов. Именной группой считается словосочетание, в котором существительное стоит на последнем месте. Так, например, в предложении

160

используя только что описанную модель, решим следующую задачу

триада решим следующую задачу будет именной группой.

Считая, что вероятность употребления существительных в разговорной речи равна 0,1, в поэзии — 0,2, в художественной прозе — 0,3, в научно-технических текстах — 0,4, найдем вероятности появления среди одновременно извлекаемых четырех словосочетаний ни одной, одной, двух, трех, четырех именных групп.

Событие, состоящее в появлении именной группы, по существу, соответствует событию, которое заключается в том, что из текста случайным образом выбирается форма имени существительного (к этой последней затем прибавляются два словоупотребления слева и тем самым формируется именная группа).

При четырех испытаниях, состоящих в извлечениях из каждого подъязыка по одному трехсловному сочетанию для нашего события,

Из этого равенства следует, что вероятности получить в каждой серии 0, 1, 2, 3, 4 именных триады соответственно равны

применять к лингвистическим испытаниям тогда, когда мы можем организовать повторную выборку, а величины N и х не очень велики.

В предыдущих разделах мы научились прогнозировать исходы массовых лингвистических испытаний. Такие прогнозы мы можем пока осуществлять применительно к повторным выборкам, опираясь на классическое определение вероятности, т. е. при условии, что опыт осуществляется относительно сравнительно ограниченной по объему конечной совокупности лингвистических объектов. Такая ситуация встречается в лингвистике сравнительно редко. Чаще всего языковеду приходится иметь дело с бесповторной выборкой, исследующей редко встречающиеся лингвистические единицы. В этих условиях распределение вероятностей появления события А подчиняется гипергеометрическому закону [6, с. 156—162].

6. Бесповторная лингвистическая выборка и ее описание с помощью формулы Бернулли. Гипергеометрический закон может применяться только к конечным генеральным совокупностям, объем которых известен. Поскольку в лингвистических задачах объем гене-

ральной совокупности текстов, порождаемых открытой системой языка, обычно не является конечной величиной, применение указанного закона для прогнозирования исхода лингвистических опытов в бесповторных выборках оказывается нереальным. Вместе с тем при определенных условиях гипергеометрическая вероятность хорошо аппроксимируется биномиальной вероятностью [30, кн. 1, с. 271 и сл.]. Поэтому, не боясь нарушения математической строгости, мы будем производить расчет вероятностей появления события А ровно х раз в нашей бесповторной выборке так, как если бы речь шла о повторной выборке. Иными словами, мы применяем к бесповторным выборкам биномиальный закон.

Будем рассматривать данные S текстов как S серий или выборок, каждая из которых состоит из N независимых испытаний.

что частость появления события А ровно х раз в одной серии опреде-

Априорная вероятность появления события А в одной наугад взятой серии равна

РNS

и, следовательно,

NS

В получаемом теоретическом распределении каждому значению х соотнесена не его вероятность, а некоторое теоретически ожидаемое число серий (выборок) si, в которых событие А появляется ровно х раз. Поскольку

(на казахском языке) из текста романа случайным образом выбираете* 4 DO отрезков текста по 25 словоупотреблений каждый. Данные о частотах употребления существительных в этих отрезках показаны в столбцах (1) и (2) табл. 6.3. Необходимо вычислить теоретическое биномиальное распределение вероятностей появления х существительньтХв одной серии.

162

Остальные значения ожидаемого числа выборок, вычисленные с помощью соотношений (6.9) и (6.13), приведены в табл. 6.3.

7. Определение вероятности появления лингвистического собы-

тия от а до b раз. Определение вероятности того, что та или иная лингвистическая единица появится в данной выборке ровно х раз, пред-

ставляет обычно небольшой интерес с точки зрения языкознания. Гораздо важнее уметь вычислять вероятность появления лингвистического события от а до b раз в заданном массиве текста.

Пусть В'х — событие, состоящее в том, что лингвистическая

Если количество членов, отвечающих значениям jc от а до Ь, намного больше общего количества членов, соответствующих значениям х от 0 до а — 1 и от 6 + 1 До N, то удобнее проводить суммирование вероятностей по этим двум последовательностям, получая тем самым вероятность события В'х, противоположного событию В'х:

Рассмотрим некоторые частные случаи. Предположим, что необходимо определить вероятность того, что лингвистическая единица А встретится не менее а раз. Здесь

Если а мало, то целесообразно пользоваться выражением

являющимся частным случаем формулы (6.14). В том случае, когда а = 1, имеем

Пусть, например, из русских текстов по радиоэлектронике случайным образом извлечено 1000 словоупотреблений. Найдем вероятность того, что словоформа напряжение встретится хотя бы один раз, если ее частость, согласно данным работы [6, с. 175—176], равна 0,0023.

164

Здесь N == 1000, р = 0,0023, q = 0,9977. Пользуясь формулой (6.15), находим

PN(x > 1) - Р1 0 00 (1 < * < Ю00) = 1 - 0,9977»»» « « 1 — 0,10 = 0,90.

Это означает, что если осуществить 100 выборок по 1000 словоупотреблений каждая, то появление словоформы напряжение можно наверняка ожидать в 90 выборках.

Вероятность появления события А не более B раз также опреде- ляется путем суммирования вероятностей, в которых событие по-

также представляющей собой частный случай выражения (6.14). Чтобы проиллюстрировать описанную методику, определим вероятность того, что в извлеченном наугад из романа М. Ауэзова «Путь Абая» отрывке в 25 словоупотреблений будет не более шест-

надцати существительных.

Здесь N = 25, р = 0,3, q = 0,7 (см. п. 6); вместо того чтобы определять, а затем суммировать вероятности появления 0, 1, 2, ...

Иными словами, если взять 10000 выборок по 25 словоупотреблений, то в 9996 выборках можно ожидать появление не более

16существительных.

8.Определение необходимого объема выборки. В лингвистических исследованиях и особенно при подготовке лингвистических программ машинного перевода и информационного поиска постоянно возникает потребность определять объем выборки, необходимый для того, чтобы обеспечить с заданной вероятностью появление хотя бы один раз интересующей нас лингвистической единицы.

Для этого приведем сначала соотношение

к виду

PN (1 < * < N) = 1 — qN = 1 — (1 - p)N (1 - р ) Л ' = 1 — Pw (1 < х < N).

165

Прологарифмировав обе части равенства и произведя необходимые преобразования, получим

где N указывает на необходимый объем выборки.

Пусть, например, нужно определить тот объем выборки русских

Иными словами, для того, чтобы с уверенностью в 90% утверждать, что словоформа напряжение встретится хотя бы один раз, нужно просмотреть выборку длиной в тысячу словоупотреблений.

§2. Случайная лингвистическая величина,

еехарактеристики и функция распределения

1.Дискретные и непрерывные случайные величины в речевой

деятельности. При проведении лингвистического опыта мы постоянно встречаемся с такими величинами, численные значения которых невозможно раз навсегда определить, причем эти значения меняются под влиянием случайных воздействий. Так, например,

выбирая наугад слова из текста, мы встречаем слова длиной в 1, 2, 3 й т. д. букв. Эти ёЛОВа мбгут СоДёрЖаТь 0, 1,2,3 и т. Д. гласных или согласных фонем. Длина слова, количество гласных или согласных фонем выступают в качестве случайных величин, т.е. таких лингвистических величин, которые могут в результате испытаний принимать различные, заранее непредсказуемые значения.

Только что рассмотренные случайные лингвистические величины принимают определенные четко отграниченные друг от друга

166

Принятие случайной величиной X конкретного значения xt есть случайное событие. Поэтому описываемые ниже свойства случайной лингвистической величины являются в какой-то степени обобщением того, что было сказано о случайном лингвистическом событии.

2. Законы распределения дискретной случайной величины.

Чтобы полностью задать случайную величину, недостаточно толь- ко указать те значения, которые она может принимать. Необходимо

ветствуют вероятностям PN (Х), С которыми мы имели дело в § 1, п. 3.

Рассматриваемые нами возможные значения случайной величины являются событиями попарно несовместимыми и образуют полную группу событий, поэтому сумма их вероятностей равна едини-

н и я . В этой таблице перечисляются все возможные значения случайной величины и указываются соответствующие им значения вероятностей; такова, например, табл. 6.1, в которой представлено биномиальное распределение. Закон распределения может быть задан в виде формулы: примером аналитического выражения биномиального распределения служит формула (6.1). Наконец, для передачи закона распределения можно использовать графическую иллюстрацию; соответствующие примеры будут приведены ниже.

*3. Понятие функции распределения случайной величины. По-

скольку языкознание имеет дело не только с дискретными, но и с непрерывными величинами, необходимо наряду с распределениями дискретных величин рассмотреть также распределения непрерывных случайных величин. Это тем более необходимо потому, что нам придется представлять распределения некоторых дискретных величин в виде непрерывных распределений (см. ниже § 3, п. 4).

Если дискретную случайную величину характеризует таблица, в которой указываются все значения этой величины и ее вероятности, то для непрерывной случайной величины такую таблицу построить нельзя: во-первых, непрерывная случайная величина принимает бесконечное множество значений; во-вторых, вероятность того, что

В связи с этим встает вопрос об отыскании такой модели рас-

167

что случайная величина X принимает всевозможные значения, меньшие чем х. Вероятность появления такой величины равна

Р(Х<х).

Ясно, что вероятность принимаемых значений случайной величины зависит от значений переменной х. Поэтому указанная вероятность является некоторой функцией от х. Обозначив эту функцию как

4. Вероятность того, что случайная величина X примет значение, удовлетворяющее неравенству X <1 х2, равна приращению ее функции распределения F (х) на интервале от хх до хг, т. е.

деления как для дискретных, так и для непрерывных случайных величин.

4. Функция распределения для случайной лингвистической величины дискретного типа. Используя данные о теоретическом распределении частот существительных в английской научнотехнической речи (см. § 1, п. 3), построим функцию распределения

F(x).

По условию случайная величина X •< х принимает все целочисленные значения, заключенные на отрезке [0, 10]. Исходя из свойства 2, а также учитывая свойства 1, 4, 5, определяем кумулятив-

168

случае, когда случайная величина принимает значения, меньшие

169