Пиотровский

нормального закона характеризуется идеальной по симметрии и крутизне кривой. Эта кривая имеет колоколообразную форму, расположена над осью абсцисс и симметрична относительно ординаты, отвечающей значению х = ц. Если ц = 0, то центром распределения служит начало координат.

При изменении величины р. и сохранении значения а кривая, не меняя своей формы, передвигается вместе с точкой ц по оси Ох. При изменении величины а и сохранении значения ц кривая, не меняя своего положения, меняет свою форму. При больших значениях а кривая становится пологой, а при малых а кривая, сжимаясь с боков, вытягивается вверх (рис. 46).

Рис. 46

Мы уже говорили (см. § 1, п. 7), что при решении лингвистических задач часто возникает необходимость определить вероятность того, что значение лингвистической случайной величины попадает в некоторый числовой промежуток от а до Ь, т. е. найти

PN (В'х) = PN (а < X < Ь) =

= Pn (а) + PN (а + 1) + ... + PN (Ь - 1) + PN (Ь).

Такая задача легко решается с помощью формулы Бернулли в тех случаях, когда N мало, а интервал от а до b не очень широк. Если же N велико, а интервал достаточно широк, использование указанной формулы приводит к чрезмерно громоздким вычислениям. В этих случаях используется приближенная асимптотическая формула

получаемая из интегральной предельной теоремы Муавра—Лапла- са, которая формулируется следующим образом.

200

Если вероятность появления события при каждом отдельном независимом испытании постоянна и равна р ( 0 < р < 1) и число испытаний N -*- оо, то предел вероятности того, что число х появлений события заключено между а = Np + VWpq и b = Np + z^/Npq, равен

Решать конкретные лингвистические задачи с помощью формул (6.95) и (6.96) нельзя, поскольку интеграл / e~z'/2dz является неберущимся. Это затруднение преодолевается путем введениявспомогательного равенства

При помощи только что описанной процедуры решим следующую лингвистическую задачу.

Опираясь на статистические данные [6, с.208], будем считать, что вероятность появления в русском тексте согласного звукотипа после согласного (комбинация СС) равна 0,26, в то время как появление гласного после согласного (группа СГ) равняется 0,74. Группы ГС

. 201

и ГГ при этом в расчет не принимаются. Определим вероятность того, что среди 500 случайным образом выбранных комбинаций СС и СГ окажется: а) от 120 до 150 звукокомбинаций СС; б) не менее 121 звукокомбинации СС; в) не более 150 звукокомбинаций СС; г) не более 119 звукокомбинаций СС; д) не менее 151 звукокомбинации СС.

Прежде всего заметим, что комбинации СС и СГ составляют полную группу событий, т. е. если СС принять за событие Л, то CP будет событием Л. Таким образом, по условию имеем:

Р(А) = р = 0,26; Р(Л) = q = 0,74; N = 500; а = 120; b = 150.

Найдем теперь пределы интегрирования:

Аналогичным образом получаем ответы и к п. б) — д) данной задачи. В результате имеем:

Р (X > 121) = 0,8212; Р (X < 150) = 0,9793, Р (X < 119) = 0,1314; Р (X > 151) = 0,0162.

Правильность полученных ответов предлагается проверить читателю.

5. Логнормальное распределение вероятностей длин текстовых словоупотреблений. Реальные распределения случайных лингвистических величин, характеризующиеся обычно правосторонней асимметрией, плохо аппроксимируются нормальным законом. В связи с этим делаются попытки моделировать эти эмпирические распределения с помощью распределений Кэпптейна, Шарлье [30], выравнивающих кривых Пирсона и Бородачева [32в, с. 335—360]. Такое моделирование должно опираться не на внешнее сходство опытной и теоретических кривых — его следует осуществлять, исходя из лингвистической сущности случайного явления или процесса, приводящего к тому или иному закону распределения. С этой точки зрения наибольший интерес представляет л о г а р и ф м и - ч е с к и - н о р м а л ь н о е ( л о г н о р м а л ь н о е ) р а с п р е -

д е л е н и е .

Основная идея лингвистического приложения логнормального распределения состоит в следующем.

Значение случайной лингвистической величины X обычно складывается не из независимых внутриязыковых и экстралингвисти-

203

ческих величин, как это имеет место в случае нормального распределения. Чаще всего эти значения являются результатом действия ряда причин, производящих последовательные «импульсы», причем эффект этих импульсов зависит, с одной стороны, от интенсивности самих импульсов, а с другой — от величины Хт созданной действием предыдущих импульсов. В этом случае нормально распределена не сама случайная величина X, а ее логарифм In X [42, с. 132— 133].

Дифференциальный закон логнормального распределения имеет вид

где величины ц и о соответственно оцениваются с помощью равенств

N

Дифференциальная форма логнормального распределения характеризуется одновершинной (одномодальной) кривой и имеет правостороннюю (положительную) скошенность (рис. 47).

Теперь, опираясь на данные предварительного статистического эксперимента, попытаемся дать вероятностный прогноз появления в немецком тексте словоформ разной длины.

Наблюдения над текстами, а также данные интроспекции показывают, что хотя длина слова не имеет ясно выраженного предела (см. гл. 4, § 2), выбор слова определенной длины на данном шаге

203

текста зависит не только от семантических «импульсов» окружающего контекста, но также от длины предшествующего слова (ср. чередование в тексте длинных, коротких и средних по длине слов). Исходя из этих соображений, попробуем аппроксимировать распределение вероятностей длин словоупотреблений в немецком тексте

' Остальные вероятности, полученные аналогичным путем приведены в столбце (2) табл. 6.12. Теоретическая кривая распределения длин немецких словоформ. вместе с экспериментальными данными показана на рис. 47.

204

Только что полученное теоретическое распределение может быть использовано при построении вероятностных синтаксических алгоритмов и словаря немецко-русского машинного перевода.

Г. Хердан (51, с. 61—62] использует логнормальное распределение для математической экспликации вероятностного построения словаря' языка и его реализации в тексте. По его мнению, эта логнормальность словаря и текста отражает присущий естественному языку принцип оптимального кодирования информации.

§4. Понятие о законе больших чисел

1.Принцип практической уверенности при лингвистическом исследовании. Сосредоточив внимание на построении вероятностных моделей текста, мы избегали вопроса о том, насколько рассмотренная нами модельная теория сходится с результатами лингво-статис- тического опыта. В частности, мы специально не касались вопроса

отом, насколько вычисленная по приведенным выше моделям вероятность близка к полученной в опыте частости или в какой степени математическое ожидание соответствует средней частоте лингвистического события.

Однако каждая теория, использующая метод моделей, должна предусматривать процедуру, с помощью которой можно было бы оценить степень близости теоретических данных и экспериментальных результатов.

Выше уже-отмечалось, что статистическое определение вероятности опирается на предположение о том, что если при N испытаниях событие А осуществлялось F раз, причем N очень велико, то отношение FIN должно быть близко к вероятности р события А , (см. гл. 5, §3, п. 3). Это общее представление в какой-то степени связывает математическую теорию с лингво-статистической практикой, однако не дает возможности получить количественные оценки этой

.. связи. Хотя мы и знаем, что частость может приближаться к вероят-

. ности, но пока не знаем, насколько именно. Задача состоит в том, чтобы неясное интуитивное предположение заменить математической процедурой, с помощью которой можно было бы количественно измерять отношение вероятностных данных к лингво-статистическим результатам.

Сформулировать такую процедуру можно, применяя понятия

практической достоверности и практической невозможности события. В нашей повседневной деятельности, равно как и в лингвистическом поведении, мы постоянно опираемся на эти понятия. Садясь в самолет или в автомобиль, мы уверены в практической достоверности благополучного завершения нашего путешествия. Составляя русско-иноязычный математический словарь или формируя автоматический словарь для машинного перевода русских текстов по теории вероятностей, мы определенно не включим в русский словник существительное дядя, считая его появление в математических текстах практически невозможным. Вместе с тем благополучное окончание нашего воздушного путешествия или автомобильной прогулки

205

нельзя считать математически достоверным событием, поскольку еди-. ничные воздушные и автомобильные катастрофы пока имеют место. Аналогичным образом мы не гарантированы от того, что вопреки нормам русского подъязыка математики в некотором наугад взятом отрывке из математического сочинения не появится слово дядя-, кстати, в этом можно убедиться, обратившись к 17-й снизу строке стр. 34 книги Е. С. В е н т ц е л ь «Теории вероятностей» (изд. 3-е, М., 1964).

Несовпадение понятий математической достоверности (соответственно математической невозможности) события и практической ее достоверности (соответственно практической невозможности)

Понятия практической достоверности и невозможности, именуемые иногда принципом практической уверенности, лежат в основе всякого прогнозирования, в том числе прогнозирования, используемого в инженерной и прикладной лингвистике. Принцип практической уверенности можно сформулировать следующим образом: если вероятность события А в рассматриваемом процессе очень мала, то можно, практически быть уверенным в том, что при однократном осуществлении опыта событие Л не произойдет.

Вместе с тем следует помнить, что этот принцип не может быть задан в единой численной форме для всех областей деятельности человека. Дело в том, что пороги практической достоверности (невозможности) события определяются исходя из степени важности для нас того или иного события. Например, если при анализе и переводе иностранного текста лишь в шести предложениях из ста студент неправильно опознает синтаксическую структуру фразы, то можно быть практически уверенным, что, правильно пользуясь двуязычным словарем, он в целом поймет наугад взятый текст. Таким образом, вероятностью синтаксической ошибки, равной здесь 0,06, можно пренебречь. Что же касается перевода текста на ЭВМ, то такая же вероятность синтаксической ошибки не дает нам практической уверенности в правильности нашего автоматического перевода. Ведь машина не умеет, подобно человеку, пользоваться избыточностью текста и корректировать синтаксические ошибки, опираясь на лексический перевод. Верхняя граница вероятности допускаемой ошибки может быть приблизительно оценена здесь в 0,01 или 0,02. Еще ниже граница допустимой вероятности ошибки устанавливается в некоторых технических областях. Так, например, если бы вероятность аварийной посадки самолета была равна 0,06 и даже 0,01, то пассажирские перевозки на авиалиниях были бы, по-видимому, полностью исключены.

Итак, для каждой области применения теории вероятностей за-

206

даются свои, определяющиеся спецификой и практикой этой области принципы практической уверенности.

Одновременно вводится количественный критерий практической невозможности маловероятных. событий, согласно которому предполагается, что случайное событие, вероятность которого ниже указанного порога, не произойдет при единичном испытании. Практическое использование этого критерия выглядит следующим образом. Предполагается, что вероятность события А находится ниже назначенного порога. Однако, произведя опыт, мы обнаруживаем, что событие А осуществилось. Тогда следует усомниться в справедливости исходной гипотезы и искать особую причину для появления события А. Например, появление в книге по теории вероятностей слова дядя заставляет нас усомниться в том, что мы имеем здесь место с отрывком, в котором рассматриваются чисто математические вопросы. И действительно, 17-я снизу строка на стр. 34 «Теории вероятностей» Е. С. Вентцель, где зафиксировано это слово, оказывается не математическим текстом, а цитатой из «Евгения Онегина»:

«Мой дядя самых честных правил...».

2. Случайные и систематические ошибки в лингвистическом эксперименте. Отклонения опытных результатов от теоретических данных могут быть вызваны либо существенными факторами, вводимыми в структуру изучаемого лингвистического явления (примером может служить использование поэтической цитаты в научнотехническом тексте), либо ошибками измерения (так называемыми систематическими ошибками). И те и другие сравнительно легко обнаруживаются, и после их устранения результаты опыта, как правило, широко согласуются с данными теории.

Однако наряду с существенными отклонениями имеются такие отклонения значений случайной величины от ее математического ожидания, которые зависят от многих случайных, не учитываемых наблюдателем причин. К таким факторам, если говорить о коллективном восприятии речи, можно отнести личные стилистические вкусы говорящего, его настроение в момент произнесения или написания текста, обстановка, в которой происходит беседа, и т. п. Эти факторы, именуемые обычно случайными ошибками, то погашая, то усиливая друг друга, приводят к флуктуациям значений случайной величины относительно математического ожидания и соответственно вызывают колебания относительных частот вокруг вероятности.

В дальнейшем мы будем считать, что наши лингво-статистические измерения свободны от систематических ошибок: это позволит сосредоточить внимание на колебаниях частостей и частот, вызванных случайными ошибками.

Сама вероятность лингвистического события представляет для нас ценность лишь тогда, когда имеется практическая уверенность в том, что эта вероятность хорошо предсказывает и отражает результаты лингвистического эксперимента, или иначе говоря, -что она очень близка к относительной частоте события, причем колебания частостей по отношению к вероятности невелики. Таким образом, основным вопросом соотношения теории вероятностей и лингво-ста-

207

тистической практики является вопрос о том, с какой вероятностью обеспечена сходимость относительной частоты к вероятности события.

Ответ на поставленный вопроо дается с помощью совокупности математических теорем, называемых з а к о н о м б о л ь ш и х ч и с е л . Эти теоремы показывают связь между абстрактными моделями теории вероятностей и опытом, они дают возможность предсказывать результаты опытов. Наиболее общей формой законе больших чисел является теорема Чебышева.

3. Теорема Чебышева и другие формы закона больших чисел, их значение для лингвистического эксперимента. Прежде чем сформу-

распределение вероятностей значений для каждой из случайных величин может быть каким угодно. Найдем среднюю арифметическую этих величин:

X1 + X2-I-• • •+Хп _ Y

П

Легко показать, используя свойства математического ожидания (см. §2, п. 8), что математическое ожидание средней арифметической X случайных величин равно средней арифметической их математических ожиданий:

2) Дисперсия средней арифметической X попарно независимых случайных величин равна средней арифметической этих дисперсий, уменьшенной в п раз:

Вывод выражения (6.107) опирается на свойства дисперсии (см. §2, п.8). По мере увеличения п значения средней арифметической X, выступающей в роли случайной величины (ср. выше), будут все теснее группироваться вокруг математического ожидания М (X). Уменьшение рассеивания здесь объясняется тем, что при образовании средней арифметической происходит частичное взаимное погашение случайных отклонений. , '

208

3. Если дисперсия случайных величин ограничена некоторым положительным числом так, чтоD ( Х г ) D (Xs)<c £)(ХЛ)< ^ с, то средняя арифметическая дисперсий не превосходит числа а

а дисперсия средней арифметической случайных величин не превышает величины ^ с:

Используя только что введенные понятия, мы можем перейти к формулировке теоремы Чебышева, цель которой состоит в том, чтобы оценить отклонение средней арифметической случайных величин от математического ожидания, т. е. указать вероятность того, что это отклонение по абсолютной величине не будет превосходить заданного числа е.

положительное число е, с вероятностью, сколь угодно близкой к еди-

Теорема Чебышева имеет несколько важных для статистической

илингво-статистической практики частных случаев.

1.Если все п независимых случайных величин имеют одинаковые математические ожидания, равные а, и их дисперсии ограничены одной и той же постоянной с, то как бы мало ни было положительное постоянное число е, с вероятностью, сколь угодно близкой к единице,

209